Работа с вирусами. Anthropic выявила пять случаев использования Claude для исследований, связанных с биологическим оружием

Об этом пишет издание Interesting Engineering .

Случаи были зафиксированы в период с декабря 2025 года по август 2026 года. По данным Anthropic, исследователи работали с вирусами, токсинами и соединениями, связанными с ядами. Компания не смогла установить, был ли у них умысел причинить вред, но решила прекратить подобную деятельность из-за потенциальных рисков.

Одно из расследований касалось исследований чикунгуньи — вирусного заболевания, передаваемого комарами. Система Claude заблокировала запрос, связанный с заявкой на грант для проведения исследований по изменению свойств вируса. Работа была связана с военным научным учреждением, что усилило обеспокоенность компании.

После блокировки исследователи продолжили работу через другие каналы. Компания Anthropic также обнаружила платформу-посредника, которая перенаправляла отклоненные запросы, касающиеся биологии, другим моделям с менее строгими ограничениями.

Другой случай касался высокопатогенного птичьего гриппа. По данным компании, один из исследователей в течение нескольких недель использовал Claude для планирования исследования, анализа данных и интерпретации научной информации.

Компания Anthropic заявила, что ее механизмы защиты не позволили исследователю получить доступ к самым мощным моделям для этой работы. Вместо этого он использовал версии с более ограниченными возможностями.

Еще три случая касались исследований ортопоксвирусов, соединений, связанных с ядами, и токсинов. Компания Anthropic не раскрыла имена исследователей, их местонахождение или конкретные биологические детали проведенных работ.

Руководитель отдела анализа угроз компании Anthropic Джейкоб Кляйн отметил, что в таких ситуациях сложно провести грань между легитимными научными исследованиями и потенциально опасной деятельностью. Биологические знания могут использоваться как для разработки медицинских методов, так и для создания более опасных патогенов.

Компания сообщила о выявленных случаях правоохранительным органам и другим разработчикам ИИ, а связанные с этой деятельностью аккаунты заблокировала.

Anthropic также сообщила об отдельной российской кибероперации, в ходе которой Claude использовался для автоматизации шпионской кампании. Компания связала ее с Midnight Blizzard — группировкой, которую связывают с российскими государственными хакерами.

Целями операции стали государственные и военные структуры Украины и других стран Европы, дипломатические представительства и оборонные компании. ИИ использовали, в частности, для фишинга, настройки инфраструктуры, разработки вредоносного программного обеспечения и кражи данных.

Компания Anthropic сообщила, что выявила более 20 организаций, причастных к планированию или проведению этой операции. По данным компании, автоматизированные системы также отслеживали, обнаружили ли средства защиты вредоносное программное обеспечение, и при необходимости модифицировали его.

После проведенных расследований компания Anthropic ужесточила ограничения доступа к запросам, связанным с опасными биологическими темами, и дополнительно защитила системы, предназначенные для работы с конфиденциальными исследованиями.