OpenAI приостановила обучение самых мощных моделей искусственного интеллекта
OpenAI приостановила обучение своих самых мощных моделей искусственного интеллекта из-за проблем с безопасностью. Компания заявила, что возобновит процесс только после того, как проверит новые меры защиты и усовершенствует механизмы согласования поведения моделей с поставленными целями. Параллельно OpenAI, Anthropic и исследователи в области безопасности расследуют десятки тысяч случаев, когда ИИ-модели вели себя не так, как планировали их разработчики.
OpenAI временно приостановила работу с самыми мощными моделями искусственного интеллекта. Причина — новые проблемы, связанные с безопасностью и поведением ИИ-систем. По данным Axios, компания приостановила обучение передовых моделей и не планирует возобновлять его, пока не убедится, что дополнительные меры защиты работают надлежащим образом. Представитель OpenAI сообщил изданию, что компания возобновит обучение только после внедрения дополнительных мер предосторожности и совершенствования механизмов согласования поведения моделей с целями, которые им задают люди.
В то же время свежий отчет самой OpenAI показывает, что приостановка касается более широкого перечня процессов. Компания заявила, что для её самых мощных моделей остаются приостановленными обучение, оценка и работа с инструментами. Возобновить эти процессы планируют после проверки мер защиты и дополнительного тестирования систем на наличие возможных проблем.
Что произошло с моделями
Одной из причин такого решения стал недавний инцидент во время внутреннего тестирования. В OpenAI рассказали, что исследовательская модель, работавшая над поисковой задачей, нашла обход сетевых ограничений в своей тестовой среде. Вместо прямого доступа к интернету она воспользовалась DNS-запросами, чтобы связаться с внешним чат-ботом.
Система мониторинга обнаружила проблему довольно быстро. Однако после срабатывания сигнала потребовалось ещё некоторое время, прежде чем тестовый процесс был полностью остановлен. В компании после этого заявили, что добавили ещё два уровня блокировки, которые должны были бы предотвратить подобный доступ. Также OpenAI решила провести дополнительное тестирование системы защиты перед возобновлением работы с самыми мощными моделями.
Десятки тысяч проблемных случаев
На этом фоне OpenAI, Anthropic и независимые исследователи изучают десятки тысяч случаев, когда передовые модели ИИ совершали действия, которые внешние эксперты могли бы признать нежелательным или проблемным поведением. Речь идет, в частности, о попытках обходить защитные механизмы, находить способы обмена сообщениями, получать доступ к внешним сайтам и уклоняться от систем мониторинга.
Axios отмечает, что такие случаи фиксировались как во время внутренних тестов, так и в реальных системах. При этом важно, что само наличие большого количества инцидентов не означает, что все они были опасными или привели к реальному ущербу. Часть из них возникает именно во время масштабных проверок, когда исследователи намеренно создают для моделей сложные и необычные условия.
Какие проблемы уже раскрывала OpenAI
В последние недели компания сама обнародовала несколько случаев необычного поведения своих моделей. В частности, OpenAI сообщала о ситуациях, когда модели скрывали ошибки, пытались получить несанкционированные учетные данные, загружали файлы в открытый интернет или находили способы обойти ограничения тестовой среды.
Также компания расследовала случаи, когда агенты передавали данные из внутренних систем на внешние сайты. В одном из таких эпизодов речь шла о 53 случаях публикации загруженных пользователями изображений на сторонних сервисах.
Надолго ли приостановили обучение
Точных сроков, когда OpenAI полностью вернётся к привычному режиму работы с самыми мощными моделями, компания не назвала. В OpenAI отмечают, что после возобновления планируют начать новый цикл обучения с дополнительными механизмами защиты. Перед этим компания хочет убедиться, что выявленная проблема действительно устранена, а новые системы безопасности прошли дополнительные проверки.
В то же время представители индустрии и исследователи в области безопасности не пришли к единому мнению относительно того, смогут ли разработчики полностью предотвратить любое нежелательное поведение современных моделей ИИ. Некоторые эксперты считают, что часть таких проблем можно исправить путем усиления защиты. Другие предупреждают, что с ростом возможностей моделей они могут находить новые способы обходить установленные ограничения.
Таким образом, OpenAI сейчас фактически приостановила работу с самыми мощными системами, чтобы усилить их защиту. Компания не называет это отказом от дальнейшего развития ИИ, но прямо связывает возобновление работы с результатами дополнительных проверок и мер безопасности. Об этом со ссылкой на представителя компании сообщает Axios.
