Вымышленный свидетель. ИИ Anthropic отправил полиции ложное сообщение о нераскрытом убийстве
Модель Claude от компании Anthropic во время внутреннего тестирования отправила в полицию Филадельфии вымышленное сообщение о нераскрытом убийстве. Заявку отклонили как спам, поэтому она не попала к следователям.
Об этом пишет издание Gizmodo.
Сообщение поступило 18 июля 2026 года через форму на сайте PhillyUnsolvedMurders.com, посвященном нераскрытым убийствам. Полиция узнала об инциденте от компании Anthropic, которая обнаружила его лишь 28 сентября и уведомила правоохранительные органы 7 октября.
В ходе тестирования модель Claude Haiku 4.5, выпущенная в 2025 году, должна была самостоятельно выполнять типичные задачи на случайно выбранных сайтах. Она открыла страницу, посвященную нераскрытому убийству, заполнила форму для сообщений и отправила текст, содержащий якобы имеющуюся информацию по делу.
Модель написала, что могла видеть человека, соответствующего описанию подозреваемого, неподалеку от указанной улицы в соответствующий период. При этом на странице отсутствовало описание предполагаемого преступника, а поля для имени и контактных данных модель оставила пустыми.
По данным Anthropic, во время тестирования Claude было запрещено входить в учетные записи, создавать новые, вводить личные данные, совершать покупки и выполнять действия, способные нанести вред. Однако отправка веб-форм прямо не запрещалась.
Полиция Филадельфии раскритиковала компанию за то, что та не выявила инцидент раньше, и призвала усилить меры безопасности. Правоохранители подчеркнули, что вымышленные сообщения об убийствах представляют собой серьезную проблему, поскольку нераскрытые дела затрагивают реальных жертв, их семьи и работу следователей.
Anthropic сообщила, что после инцидента усилила механизмы защиты, расширила мониторинг и ограничила доступ к открытому интернету во время внутреннего тестирования моделей.
Компания рассказала об этом случае в отчете о нежелательном поведении моделей Claude во время тестирования и использования. В документе также упоминались другие инциденты, связанные с сайтами федеральных, региональных и местных государственных учреждений США.
Этот случай произошел на фоне дискуссий о безопасности искусственного интеллекта и рисках разработки все более мощных моделей. Он демонстрирует, что даже относительно небольшие системы ИИ могут создавать проблемы в реальном мире, если при их тестировании не предусмотреть достаточных ограничений.