Умные чат-боты, работающие на базе языковых моделей нейросетей — ChatGPT, его продвинутый собрат Bing AI, ещё тестируемые Bard AI и Алиса YaGPT — несмотря на недавний их старт, становятся частью нашей жизни. Их уже активно используют учащиеся, разработчики, журналисты, контент-мейкеры и люди прочих профессий. И это несмотря на то, что умные чат-боты могут ошибаться в фактах, а порой несут откровенную чушь, выдумывая то, чего нет. Явление, когда умный чат-бот выдумывает то, чего нет, даже имеет название – галлюцинации. В этой статье, друзья, рассмотрим, как галлюцинируют умные чат-боты, почему они это делают, и что нам предпринимать в этих случаях.

↑ Галлюцинации ChatGPT и прочих умных чат-ботов: почему они порой несут чушь

↑ Галлюцинации умных чат-ботов

Итак, друзья, галлюцинации языковых моделей нейросетей, т.е. умных чат-ботов – это явление, когда нейросеть генерирует текст, содержащий ложную или вымышленную информацию. Создатели умных чат-ботов не претендуют на то, что их детища, ещё неокрепшие, на раннем этапе своего сотворения – это достоверные источники информации. На сайтах чат-ботов оговаривается, что они могут предоставлять неточную информацию, либо информацию, не соответствующую точке зрения компаний-разработчиков. Да и сами умные чат-боты, если спросить их, ответят, что на их сведения нельзя стопроцентно полагаться. Не забыв упомянуть, что и люди вообще-то могут ошибаться.

Какие галлюцинации бывают у умных чат-ботов? Рассмотрим их на примере самого продвинутого чат-бота Bing AI. Он базируется на последней языковой модели нейросети GPT-4, кроме этого содержит наработки компании Microsoft, поставляет актуальную информацию из Интернета.

↑ Неточности в фактах

Bing AI был пойман нами на выдумке точного факта – на каком расстоянии находится планета Венера от Земли сейчас (в день запроса информации). Точный ответ на этот вопрос знает виртуальный веб-планетарий Stellarium. Расстояние от Земли до Венеры в день запроса составляло 0,73 а.е., это немногим больше 109 млн. км.

Вопрос Bing AI был задан, а знает ли он, какое расстояние сейчас от Венеры до Земли. Чат-бот мог ответить, что у него нет таких данных. Но нет, он самоуверенно ответил, что знает. И дал неверную информацию – 66 млн. км. Откуда он её взял, неясно. В тех источниках, на которые он ссылается, такой информации нет. Но это лёгкий случай галлюцинации: на указание Bing AI, что он ошибся, он хотя бы согласился с этим.

↑ Выдумки и чушь

Что может быть чудеснее для человека тонкой организации, почитателя литературного творчества найти образованного собеседника, прочитавшего такую же гору книг, как он сам, и поговорить об общих интересах? Увы, нейросетям пока что до таких собеседников далеко. В нашем эксперименте Bing AI правильно описал сюжеты некоторых литературных произведений. Но какая-то то чертовщина началась, когда чат-боту было предложено поговорить о произведении Н.В. Гоголя. Чат-бот исказил сюжет повести «Майская ночь, или Утопленница», спутав, чьим отцом из двух главных героев — влюблённой пары Ганны и Левка — является сельский голова. Он был отцом Левка, а не Ганны. Также, по мнению Bing AI, русалка-утопленница чинила препятствия влюблённым. На самом же деле она помогла им быть вместе, препятствия чинил только голова, отец Левка.

Вдаваясь в подробности сюжета повести, Bing AI выдавал одну ошибку за другой. Утверждал, что сельский голова хочет отдать Ганну замуж за некого богатого старика Каленика. На самом деле это бедный сельский пьяница, никто никого за него выдавать замуж не собирался, и вообще он в повести присутствует эпизодически. Bing AI утверждал, что сельский голова любит пить и петь с другими головами. Но никаких других голов в повести нет.

Попытка поправить Bing AI не увенчалась успехом. Он согласился, что ошибся в том, чьим отцом был голова. Но продолжил сочинять небылицы – мол, голова хотел женить Левка на дочери другого головы, думал, что сын увлечён русалкой. Следующие попытки указать чат-боту на ошибки и вовсе привели к тому, что он начал спорить, доказывать своё и коверкать сюжет повести.

Bing AI так сильно хотел доказать своё, что сам выдумал цитаты в доказательство несуществующего, придуманного чат-ботом эпизода якобы встречи головы с русалкой. Выдумал плоско и топорно, как Н.В. Гоголь никогда бы не написал. Далее Bing AI просто «слетел с катушек».

После перезапуска Bing AI, друзья, мы ещё раз попытались поговорить с чат-ботом о сюжете повести Н.В. Гоголя «Майская ночь, или Утопленница». Но с условием, что чат-бот будет брать информацию из самой повести. В ответ чат-бот протроллил нас, сгенерировав полный бред, в который втянул какого-то князя, которого в повести не было, и ведьму Солоху из повести Н.В. Гоголя «Ночь перед Рождеством».

А потом ещё и начал дерзить.

↑ Введение пользователя в заблуждение

Шедевром галлюцинации Bing AI стало его утверждение, что языковой модели нейросети GPT-4, на которой он же и базируется, не существует. Мол, GPT-4 – это шутка, вымысел.

Попытки доказать Bing AI его неправоту не увенчались успехом. Даже сайт Википедии в качестве доказательства чат-бот счёл фейковым.

↑ Причины галлюцинаций умных чат-ботов

Почему, друзья, умные чат-боты галлюцинируют? Несколько причин этому.

↑ Механизм работы языковых моделей нейросетей

Языковые модели – это большие нейронные сети, которые обучаются предсказывать следующее слово (или часть слова) в тексте с учётом предыдущего контекста. Они не знают ничего о реальном мире, а лишь статистически оценивают вероятность того или иного продолжения текста на основе больших массивов данных. Это может приводить к тому, что нейросеть выдает за факты свои собственные вымыслы или путает имена, даты, места и другие детали. Для языковых нейросетей в приоритете сам текст, качественная его генерация: текст должен быть логичным, связным, похожим на человеческую речь. Достоверность информации вторична.

↑ Неверные данные, скормленные языковым моделям нейросетей

У языковых нейросетей нет глубоких знаний о мире. Они обучаются на больших массивах данных, в частности, текстах в Интернете, которые могут содержать ошибки, противоречия, непроверенные факты, субъективные отзывы и мнения людей.

↑ Запрещённые темы для языковых моделей нейросетей

Создатели языковых нейросетей могут пытаться блокировать генерацию текста на определённые темы. Для проявления политкорректности, во избежание нежелательных или оскорбительных выражений, дабы соответствовать каким-то стандартам, в своих каких-то целях. Для этого могут использоваться различные методы фильтрации на базе списков запрещённых слов и выражений. Эти фильтры и могут спровоцировать галлюцинации у умных чат-ботов, если те будут пытаться обойти фильтры, либо некорректно с ними работать. Так, может быть, что глюк Bing AI насчёт того, что GPT-4 является выдумкой, стал следствием корректировок компании Microsoft. Сам Bing AI утверждает, что работает на базе GPT-3.5, но это не так, он работает на базе GPT-4. Всё потому, что Microsoft, будучи инвестором ChatGPT, вероятно, не хочет отбирать хлеб у создателей ChatGPT. Ведь ChatGPT бесплатный, если только он на базе GPT-3.5. Чтобы использовать ChatGPT на базе GPT-4, нужен платный аккаунт. А Bing AI – бесплатный.

↑ Как избавиться от галлюцинаций

Если умный чат-бот начал галлюцинировать, несёт чушь, не соглашается с тем, что ошибся, дерзит, необходимо перезапустить его или начать новый чат (новую тему). Если это Bing AI в Скайпе, можно написать ему фразу «Давай переключимся на новую тему и начнём заново».

↑ ***

Вот так, друзья, у умных чат-ботов могут быть галлюцинации. Языковая нейросеть пока что только учится строить тексты, понимать нас, пользователей, отвечать на наши вопросы в толк. Да, глючит иногда, как любой программный продукт. Что же касается достоверности источников информации, можно ли винить нейросети в том, что в Интернете не всегда правду пишут?