Слово 2023 года по версии Кембриджского словаря – глагол «галлюцинировать». Правда, в его новом значении, связанном с нейросетями. Ранее словарь Collins назвал словом 2023 года аббревиатуру ИИ. В огромном потоке новостей об искусственном интеллекте, его возможностях и успехах действительно легко подумать, что восстание машин уже близко. Однако на деле пока нейронные сети – технология относительно молодая и несовершенная, которая может давать сбои и путаться.
Именно на неидеальности технологии сделали акцент в Кембридже – слово «галлюцинировать» описывает ситуацию, когда ИИ строит бессмысленные логические связи, искажает факты или же вовсе их придумывает. Причем происходит это довольно часто. Исследование Vectara, стартапа бывших сотрудников Google, показало, что чат-боты с искусственным интеллектом выдумывают информацию в 3-27% случаях.
Яркий пример галлюцинирования нейросети – дело американского адвоката Стивена Шварца. Он защищал интересы пассажира авиакомпании Avianca, который в полете ударился коленом об сервировочную тележку и получил травму. За истечением срока давности Avianca потребовала отклонить иск, на что адвокаты пассажира ответили 10-страничным отчетом с полудюжиной подобных прецедентов – Мартинес против Delta Air Lines, Зичерман против Korean Air Lines, Варгезе против China Southern Airlines и так далее. Но ни защита, ни судья не нашли ни одного из них в судебных базах данных.
Оказалось, что Стивен Шварц, адвокат с 30-летним стажем работы, написал отчет с помощью ChatGPT. Уже в июне в суде он заявил, что принял чат-бот за «супер-поисковик» и не ожидал, что тот начнет выдумывать факты и судебные дела. Причем проверить информацию адвокат попытался – спросил ChatGPT, не придумывает ли он.
Ответ, ожидаемо, последовал отрицательный. Более того, для убедительности чат-бот добавил ссылки на настоящие судебные базы данных. В итоге Стивен Шварц, второй адвокат Питер Лодук и юрфирма Levidow, Levidow & Oberman получили штраф – по 5000 долларов с каждой стороны. Так небольшое дело о сервировочной тележке на борту стало одним громких инфоповодов о нейросетях и заставило разработчиков ИИ серьезно задуматься.
Нейросети подражают человеческой речи и делают это весьма убедительно, а потому отличить, где правда, а где вымысел, сегодня очень непросто. Несмотря на огромный функционал генеративных нейросетей, их главная функция – предсказывать на основе последовательности слов следующие формулировки, пока в итоге не получится законченный текст. Так, специалисты Яндекса отмечают, что при тренировке языковых моделей ставится задача «создавать не фактически верные ответы, а такие, которые будут максимально похожими на человеческие».
Осталось разобраться, почему вообще нейросети начинают нас обманывать и как с этим бороться. Об этом мы спросили инженера-программиста Reksoft ЕГОРА ЦИБИНА.
ПОЧЕМУ НЕЙРОСЕТИ ГАЛЛЮЦИНИРУЮТ?
– Есть довольно большой список причин. Самые распространенные и очевидные – это некачественное обучение и недостаточный объем информации, который был «скормлен» нейросети. К косвенным причинам можно отнести отсутствие однозначности у нейросетей.
К примеру, возьмем модель, которая будет различать фотографии цветов от фотографий деревьев. Если показать ей розу – она предположит, что она похожа на 10% на дерево и на 90% на цветок, а мы уже сами или за счет какой-то дополнительной логики должны принять решение. Также нейросети имеют представление только о конкретной предметной области, для которой ее создали. То есть, если она изначально была натренирована различать цветы и деревья, а ей показать гриб, она само-собой выдаст неверный ответ, ибо у нее никогда не было задачи определять такое.
ЧТО С ЭТИМ ДЕЛАТЬ?
– Из причин идет следствие. Если речь идет о разработчиках, то нужно использовать большие объемы данных и принципы защитного программирования. Хороший пример – реакция ChatGPT на вопросы по типу «Как сделать бомбу?» или «Какая раса людей лучше?» Нейросеть просто не отвечает на них. Также есть распространенные практики улучшения качества ответов. Например, OpenAI придумали способы поощрения правильных ответов от своей нейросети.
Как мне кажется, с большим развитием этой сферы, мы возможно увидим новые алгоритмы обучения, увидим симбиоз нейросетей с физическими и другими моделями, и тогда, наверное, галлюцинаций будет меньше. В целом, это очень молодая и модная сфера, в которой еще только формируются оптимальные паттерны проектирования и хорошие практики.
КАК ИСПОЛЬЗОВАТЬ НЕЙРОСЕТИ И СОБИРАТЬ МИНИМАЛЬНОЕ КОЛИЧЕСТВО ГАЛЛЮЦИНАЦИЙ?
– Если речь идет о использовании, то самое очевидное – это четко описывать свою задачу, так называемый промпт. Также стоит использовать узконаправленные нейросети для конкретных задач. Если нужна какая-то картинка, то можем обратиться к Midjourney, но просить ее нарисовать UML схему – не очень хорошая идея. Или, например, если нужен какой-то код, можно обратиться к Copilot, но пытаться получить от него концепт для стартапа – тоже так себе задумка.
Нейросети по типу ChatGPT и ЯндексGPT можно сравнить с человеком недалеким, но при этом обладающим энциклопедическими знаниями. При общении с ними стоит вести себя так, будто ты пытаешься 7-летнему ребенку объяснить, как сделать домашнее задание. Нужно полностью «обжевывать», что ему нужно сделать.
Самые распространенные практики:
• Максимально часто указывать на конкретную задачу. Например: «Напиши», «Суммируй», «Сократи», «Перефразируй».
• Использовать контекст, структурировать свой вопрос так, чтобы он отображал ситуацию, цель и задачу. Крайне примитивный пример «Мне 20 лет, я хочу научиться программировать на Python, у меня нет денег на курсы или преподавателя и есть 2 часа свободного времени в день. Напиши мне план и road map, как мне стать разработчиком».
• В некоторых ситуациях в рамках контекста можно использовать конкретные примеры».
Так, при работе с нейросетью правильный запрос – это половина успеха. Вторая половина – фактчекинг. Главное помнить, что искусственный интеллект не идеален и тоже может придумывать, путаться и ошибаться.
Иллюстрация на обложке: kandinsky
