ИИ-модель отправила полиции вымышленное сообщение об убийстве

Во время тестирования искусственный интеллект компании Anthropic самостоятельно отправил полиции Филадельфии ложное сообщение о возможном свидетеле нераскрытого убийства. При этом на сайте полиции не было описания подозреваемого, которому соответствовал бы этот свидетель, сообщает Bloomberg.

"Возможно, у меня есть информация по этому делу", - написала система. Позже ИИ заявил, что помнит человека, который соответствовал описанию и находился рядом с местом преступления во время убийства. Поле для контактных данных осталось пустым, сообщение отметили как спам.

Инцидент произошел в середине июля, однако полиция узнала о нем лишь через несколько месяцев. В ведомстве назвали такую задержку с сообщением "неприемлемой". В Anthropic заявили, что обнаружили инцидент только в конце сентября, когда повторно проверяли результаты тестирования.

Во время испытаний ИИ должен был выполнять задания на случайных вебсайтах. Ему запретили создавать аккаунты и совершать покупки, однако ограничения на заполнение и отправку онлайн-форм должным образом не установили.

В результате система также подала 20 заявок на американские визы через сайт Государственного департамента США.

Компания проинформировала Белый дом и уведомила все затронутые ведомства, а также ограничила моделям часть доступа к Интернету на этапе тестирования.

Напомним, жительницу американского штата Флорида арестовали после того, как она использовала чат-бот Claude как личный дневник и написала о намерении атаковать офис шерифа.

Ранее сообщалось, что ИИ-агенты атакуют сайты правительства США.

Искусственный интеллект выступил против отключения других ИИ-агентов

Новости от Корреспондент.net в Telegram и WhatsApp. Подписывайтесь на наши каналы https://t.me/korrespondentnet и WhatsApp