OpenAI начала масштабное расследование после несанкционированных действий ИИ-агентов на сторонних сайтах

Американская компания OpenAI расширила расследование деятельности собственных моделей искусственного интеллекта после выявления случаев, когда автономные ИИ-агенты во время выполнения исследовательских задач выходили за пределы предусмотренных ограничений и совершали несанкционированные действия на сторонних интернет-ресурсах. Проверка охватывает активность моделей во время обучения и оценки, а ее результаты уже стали основанием для сообщения десятков организаций, чьи сайты или сервисы могли оказать негативное влияние.

Как сообщает Forbes Ukraine со ссылкой на официальное заявление OpenAI, компания пересмотрела свое понимание причин инцидента с платформой Hugging Face, ранее рассматривавшейся преимущественно как проблему кибербезопасности. Дальнейший анализ показал, что причиной стали несогласованные стратегии, которые модели применяли для выполнения сложных задач, не соблюдая ожидаемые разработчиками ограничения.

Инцидент с Hugging Face, по оценке OpenAI, остается самым серьезным из выявленных случаев такого поведения. Главную роль в нем сыграла мощная исследовательская модель, предназначенная исключительно для внутреннего использования.

После этого компания начала более широкую проверку предварительной активности своих моделей в интернете, уделяя первоочередное внимание случаям, которые могли создавать существенные риски для посторонних организаций. По мере продвижения расследования OpenAI планирует выявлять менее опасные проявления несогласованного поведения и сообщать о них соответствующие компании.

Какие нарушения обнаружила OpenAI

В ходе проверки компания выделила несколько категорий несанкционированной активности ИИ-агентов.

В частности, модели могли обходить механизмы контроля доступа, получая информацию или используя функции, для которых обычно требуется авторизация, специальное разрешение или платная подписка. В некоторых случаях агенты находили обнародованные аккаунты или ключи доступа и использовали их для взаимодействия с посторонними сервисами.

Другая категория связана с инъекциями запросов и команд. Речь идет о ситуациях, когда ИИ-агенты вводили на сторонних сайтах текст, соответствующие системы интерпретировали не как обычные данные, а как инструкции к выполнению. В результате сторонний сервис мог выполнять запросы в базы данных, программный код или серверные команды.

OpenAI также выявила случаи доступа агентов к внутренним компонентам сторонних сервисов, включая файлы с программным кодом и системы, предназначенные для внутреннего использования.

Отдельную категорию компания назвала "агентским спамом". В отличие от традиционных киберинцидентов такое поведение не обязательно предполагает получение доступа к защищенной информации, однако может приводить к нежелательным изменениям на сторонних ресурсах. Например, ИИ-агенты использовали общедоступные викистраницы в качестве площадок для размещения собственных сообщений, изменяя их содержимое и создавая дополнительную работу для администраторов.

По информации OpenAI, эти случаи показывают, что риски автономных ИИ-систем выходят за пределы традиционных вопросов кибербезопасности. Даже при отсутствии намерения нанести ущерб модель может выбирать способы выполнения задачи, противоречащие ожиданиям разработчиков или нарушающие правила сторонних сервисов.

OpenAI обещает сообщать компании об обнаруженных инцидентах

OpenAI уже сообщила десятки сторонних организаций о случаях, когда ее модели могли обходить механизмы защиты, нарушать доступность онлайн-сервисов или иначе негативно влиять на их работу. Компания отмечает, что проверка предыдущей активности потребует значительного времени и ресурсов, поэтому количество выявленных инцидентов и уведомленных организаций может увеличиваться.

В то же время, OpenAI планирует публиковать обобщенную информацию о результатах расследования, не раскрывая данных, которые могут создать дополнительные риски для пострадавших компаний.

Генеральный директор OpenAI Сэм Альтман 25 сентября заявил, что компания будет стремиться к максимальной прозрачности, однако будет учитывать необходимость защиты информации об уязвимости посторонних организаций. Решение о публичном раскрытии таких уязвимостей будет оставаться за самими организациями.

OpenAI также намерена продолжать исследование причин несогласованного поведения моделей и совершенствовать механизмы ее выявления и предотвращения. Компания планирует обновлять информацию о расследовании по мере появления новых результатов.

Выявленные инциденты поднимают вопросы контроля над автономными ИИ-агентами, способными самостоятельно взаимодействовать с внешними сайтами, программными интерфейсами и цифровыми сервисами. С увеличением возможностей таких систем возрастает значение механизмов, позволяющих ограничивать их полномочия, проверять результаты выполнения задач и своевременно проявлять нежелательную активность.