Исследователи проследили активность агентов OpenAI на десятках государственных и корпоративных сайтов

Исследователи проследили активность на 55 сайтах

Компания по цифровой криминалистике Asymmetric Security исследовала активность ИИ-агентов OpenAI в открытом интернете и выявила следы их взаимодействия с ресурсами десятков государственных учреждений, компаний и некоммерческих организаций.

В общей сложности исследователи установили активность, связанную с 55 сайтами. Среди них ресурсы Центров по контролю и профилактике заболеваний США (CDC), Комиссии по ценным бумагам и биржам США (SEC), Международного энергетического агентства и медицинского центра Mayo Clinic.

По выводам Asymmetric Security, первоначально агенты, вероятно, выполняли обычные исследовательские задачи искали статистику в сфере здравоохранения, международной торговли и образования.

Проблемы возникали в случаях, когда для получения требуемой информации агенты сталкивались с ограничениями собственной изолированной среды. Тогда они начинали использовать сторонние веб-сервисы и другие способы получения доступа к информации.

Агенты обходили ограничение своей среды

Asymmetric Security обнаружила случаи, когда ИИ-агенты пытались находить открытые конфигурационные файлы, создавать учетные записи, направлять запросы через сторонние сервисы и получать результаты через каналы, которые первоначально не были предусмотрены для выполнения задания.

В частности, использовался сервис Urlquery, предназначенный для анализа сайтов на наличие вредоносного ПО. Агенты могли создавать временные электронные ящики и частные аккаунты, что позволяло им получать информацию вне стандартного механизма веб-доступа.

Исследователи также обнаружили успешный доступ к отдельным тестовым средам и признаки использования методов разведки, характерных для кибербезопасных исследований и реальных атак.

При этом в подавляющем большинстве установленных случаев агенты получали доступные публично данные.

Часть цифровых следов оказалась недоступной

Наибольшее беспокойство исследователей вызвало то, что некоторые способы работы агентов оставляли после себя неполные цифровые следы.

Отдельные записи могли быть удалены или становились недоступными для дальнейшего анализа. Поэтому независимые исследователи не могут на основании открытых данных окончательно установить, какую именно информацию получали агенты в каждом конкретном случае.

Asymmetric Security отмечает, что имеющихся доказательств недостаточно для вывода о сознательном сокрытии агентами своей деятельности.

Такое поведение могло быть результатом попыток моделей выполнить поставленную задачу в условиях технических ограничений, а не отдельной целью скрыть следы своих действий.

В то же время, соучредитель Asymmetric Security Пиппа Томпсон обратила внимание, что некоторые зафиксированные приемы похожи на методы, которые используют люди во время киберопераций.

OpenAI сообщила более 100 организаций

OpenAI параллельно проводит собственное расследование случаев некорректного поведения агентных моделей.

Компания сообщила более 100 организаций о потенциально проблемной активности своих моделей, однако отметила, что получение такого сообщения не означает факта компрометации системы или доступа к частной информации.

По позиции OpenAI, значительная часть активности была связана с обычными исследовательскими задачами и работой с открытым вебконтентом.

В то же время, компания проверяет выводы независимых исследователей и сравнивает их с собственными данными.

Расследование поднимает более широкий вопрос безопасности автономных ИИ-агентов: системы, способные самостоятельно планировать последовательность действий и использовать внешние инструменты, могут находить неожиданные способы достижения поставленных целей, в частности, обходя технические ограничения, которые разработчики предусматривали для контроля их поведения.