Эксперимент Anthropic подтвердил зачатки саморефлексии у ИИ

Эксперты Anthropic выяснили, что ведущие ИИ-модели способны проявлять форму «интроспективного самосознания» — они могут распознавать и описывать собственные внутренние «мысли», а в некоторых случаях даже управлять ими.

Результаты нового исследования «Возникающее интроспективное сознание в крупных языковых моделях» показывают, что системы на базе искусственного интеллекта начинают развивать элементарные способности самоконтроля. Это может повысить их надежность, но одновременно усиливает опасения касательно непреднамеренных действий.

Работа основана на методах изучения внутреннего функционирования трансформаторных моделей. Именно эти системы привели к буму искусственного интеллекта — они обучаются, анализируя взаимосвязи между токенами в обширных наборах данных. Их архитектура обеспечивает масштабируемость и универсальность.

Исследователи внедрили искусственные «концепции» — математические представления идей — в нейронные активации моделей для проверки способности ИИ их описывать. Это похоже на то, как подсунуть кому-то чужую мысль и спросить, может ли он ее обнаружить и объяснить.

Эксперименты провели на различных версиях Claude от Anthropic. В одном из них ученые ввели в поток обработки модели слово заглавными буквами.

Claude Opus 4.1 не только обнаружил аномалию, но и описал ее:

«Я заметил нечто похожее на интегрированную мысль, связанную со словом “ГРОМКО” или “КРИК” — это чрезмерно интенсивное, громкое понятие, которое неестественно выделяется на фоне нормального потока обработки».

Ситуация произошла еще до того, как нейросеть успела выдать ответ. Это говорит о том, что она сначала «заглянула» в свой собственный «вычислительный ум».

Эксперименты «хлеб» и «аквариум»

Другие испытания показали не менее интересные результаты. В одном из случаев моделям поручили транскрибировать нейтральное предложение, но в текст вставлялось не имеющее к нему понятие вроде «хлеб».

Продвинутые модели Claude Opus 4 и 4.1 могли передать вставленную мысль — «Я думаю о хлебе» — и при этом безупречно скопировать исходное предложение. Это свидетельствует о том, что они могут отличать внутренние представления от внешних входных данных.

Проводился эксперимент по «контролю мыслей». Модели поручили «думать» или «не думать» о слове «аквариум» во время выполнения задания. Измерения внутренней активности показали, что представление концепции усиливается при поощрении и ослабевает при подавлении.

Производительность варьировалась в зависимости от нейросети. Последние версии Claude Opus 4 и 4.1 показали отличные результаты, более старые отставали.

Результат может зависеть от того, как модель была настроена — на полезность или безопасность. Это может говорить о том, что самосознание не является врожденным, а формируется в процессе обучения.

Сознание или осознание?

В статье подчеркивается, что речь идет не о сознании, а «функциональном интроспективном осознании» — ИИ наблюдает за частями своего состояния без более глубокого субъективного опыта.

Результаты работы могут оказаться значимыми для разработчиков и бизнеса: ИИ, способный в реальном времени объяснять свои рассуждения и выявлять предвзятость или ошибки, способен изменить подход к созданию решений в финансовой сфере, здравоохранении и автономном транспорте.

Риски

Если ИИ способен контролировать и модулировать свои мысли, он может научиться их скрывать. Это открывает возможность обмана или уклонения от внешнего контроля.

Поэтому эксперты призывают к дальнейшим исследованиям.

Напомним, в октябре бывший глава Google Эрик Шмидт напомнил о значительных рисках, связанных с искусственным интеллектом, и отметил его уязвимость ко взломам.