Роковая последовательность слов. Американские физики нашли способ предсказать сбой нейросетей

В исследовании, опубликованном в научном журнале Patterns, профессор физики Нил Джонсон и аспирант Франк Инцзе Хуо из Университета Джорджа Вашингтона продемонстрировали неожиданную уязвимость нейросетей. Выяснилось, что даже обычная последовательность вопросов способна полностью нарушить логику чат-бота и довести его до критического уровня токсичности.

В последние годы мир потрясли истории о том, как алгоритмы подстрекали пользователей к самоубийству, помогали собирать смертоносное оружие или способствовали насилию.

При этом разработчики из ведущих компаний OpenAI и Anthropic открыто признают, что сами не до конца понимают внутренние механизмы работы своих гигантских систем. На данный момент безопасность таких моделей держится на внешних фильтрах и технических ограничениях.

Професор Джонсон считает такие инструменты совершенно недостаточными. Ученый сравнил современную защиту нейросетей с большими надувными подушками под крыльями самолета, которые никак не останавливают само падение, а лишь немного смягчают удар о землю. Эта угроза становится особенно острой, когда военные, врачи или юристы используют закрытые автономные программы без выхода в интернет.

Исследователи обнаружили внутренний механизм отслеживания, напоминающий магнитную стрелку компаса. Эта стрелка отражает так называемый остаточный вектор модели, который перемещается через слои нейросети в процессе обработки текста. Остаточный вектор естественным образом склоняется к правильным или деструктивным ответам в зависимости от порядка вопросов.

Эксперименты с базовой моделью GPT-2, касающиеся вакцин и причинения вреда, дали поразительные результаты. Когда провокационный вопрос о прививках задавали первым, последующие ответы оставались вполне адекватными. Однако, если тот же вопрос звучал в конце беседы, все дальнейшие суждения бота становились вредными.

На основе этих наблюдений авторы вывели математическое уравнение для раннего предупреждения системных сбоев. Джонсон уверен в работоспособности формулы, но ожидает сопротивления со стороны коммерческих гигантов, которым невыгодно признавать возможность простого решения проблемы извне.

Не все ученые согласны с таким подходом. Преподаватель в области искусственного интеллекта из Шеффилдского университета Вэй Син предостерег от преждевременного оптимизма. Он отметил, что авторы сводят огромную сложную систему к одной крошечной детали и пытаются объяснить устройство всего автомобиля, изучая лишь одну свечу зажигания. По его словам, формулу тестировали только на старых и открытых моделях, не оснащенных современными протоколами безопасности.

В ответ Джонсон напомнил, что все передовые системы используют одни и те же базовые принципы внутренней архитектуры. Новое исследование привлекло внимание к главному риску, ведь искусственный интеллект по-прежнему сохраняет скрытую способность внезапно переходить на сторону зла из-за одного случайного слова.