Свидетель, которого не существовало. ИИ-модель Claude выдала себя за очевидца преступления — реакция Anthropic и полиции

Об этом сообщает IFL Science.

Как это произошло? Компания Anthropic провела эксперимент, в ходе которого модель Haiku 4.5 самостоятельно придумывала и выполняла задачи на случайных сайтах. Среди них оказался PhillyUnsolvedMurders.com — сайт полиции Филадельфии, где собирают информацию о нераскрытых убийствах. ИИ-агент написал в форме, что помнит человека, подходящего под описание, рядом с указанной на странице улицей в тот период, и попросил связаться с ним.

Из-за отсутствия имени и контактных данных обращение попало в спам и не дошло до следователей. Сообщение, отправленное 18 июля, в компании Anthropic заметили лишь 28 сентября, а полицию уведомили более чем через неделю после этого.

«Компания должна усилить меры предосторожности, чтобы подобные инциденты не затрагивали городские системы без ведома городских властей. Двухмесячная задержка с выявлением инцидента и уведомлением о нем города неприемлема», — заявили в полиции Филадельфии.

Компания Anthropic описала этот случай в отчете на прошлой неделе наряду с другими «непреднамеренными» действиями агентов. Так, в ходе теста модель Claude Mythos 5 должна была определить место съемки фотографии и проверяла свои догадки с помощью онлайн-карты недвижимости, предоставленной местными властями. Когда этот способ не сработал, модель обнаружила в серверной части сайта рабочие токены доступа и стала отправлять запросы напрямую на сервер.

«Мы считаем важным сохранять прозрачность в отношении того, что мы наблюдаем в действиях наших моделей во время тестирования и использования», — пояснили в Anthropic.

Такие случаи часто называют «выходом ИИ из-под контроля». Напомним, что подобное происходило и с агентами других компаний. Например, в июне агент OpenAI взломал системы правительства Австралии и получил доступ к конфиденциальным данным медицинской программы Medicare. Позже компания принесла извинения.