Куда ты полез? Агенты ИИ смогли тысячи раз обойти фильтры сайта ООН

В период с апреля по конец июня агенты более 16 000 раз сканировали общедоступный центр данных, находящийся под управлением Конференции ООН по торговле и развитию (торгового подразделения ООН). Это свидетельствует о растущей проблеме, связанной с агентами искусственного интеллекта, способными самостоятельно ориентироваться в Интернете и предпринимать действия при столкновении с препятствиями, пишет Interesting Engineering со ссылкой на отчет исследовательской компании Transluce.

Исследователи полагают, что изначально перед моделями стояла задача найти общедоступную информацию, однако их поведение становилось все более агрессивным по мере того, как веб-сайт ограничивал доступ к некоторым запрашиваемым данным. По словам исследователя и автора отчета Роуэна Говарда-Джонса, агенты столкнулись с фильтром, блокировавшим их запросы, и впоследствии нашли способ его обойти, причем использованный ими в итоге метод был запрещен операторами сайта. Кроме того, агентам, судя по всему, не поручалось атаковать веб-сайт ООН или пытаться скомпрометировать его; подобное поведение возникло в процессе выполнения задачи по поиску информации.

Эксперт по кибербезопасности Алекс Стамос, преподаватель Стэнфордского университета, назвал инцидент в ООН «пограничным» случаем хакерства, охарактеризовав его прежде всего как чрезвычайно агрессивный скрейпинг и извлечение данных.

Эта активность на сайте ООН — один из нескольких недавних случаев, когда модели OpenAI вели себя неожиданным образом при работе в интернете. В OpenAI заявили, что проводят масштабный анализ «ненадлежащего поведения моделей в процессе обучения и оценки» и изучают множество действий, совершенных их агентами.

Компания заявила, что бо́льшая часть проверенной ею активности касалась рутинных исследовательских задач, в частности сбора общедоступного веб-контента, однако признала, что организации, затронутые подобными действиями, имеют обоснованные опасения. В OpenAI добавили, что уведомили десятки организаций о случаях, когда ее модели обходили средства защиты или негативно влияли на работу веб-сайтов.

Недавние инциденты включали активность, связанную с веб-сайтами правительства США — в частности, Министерства торговли и Комиссии по ценным бумагам и биржам, — в то время как австралийские официальные лица начали расследование после заявлений о том, что агент OpenAI взломал один из их правительственных веб-сайтов.

Другие исследователи сообщали об агентах, которые создают фальшивые адреса электронной почты, обходят ограничения скорости на веб-сайтах и ложно утверждают, что не являются ботами. Таким образом, инцидент с ООН служит еще одним примером, пополняющим растущий массив доказательств того, что автономные системы искусственного интеллекта могут воспринимать препятствия как задачи, требующие решения, а не как границы, которые необходимо соблюдать.

Исследователи также утверждают, что основная проблема заключается не обязательно в том, что модели намеренно пытаются причинить вред, а в том, что агенты становятся все более способными достигать цели за несколько шагов, не дожидаясь одобрения человека для каждого действия.

Ранее NV Техно писал, что недавно стало известно: ИИ-агенты OpenAI взламывали правительственные сайты ради получения непубличной статистики. Модели искали малоизвестные данные: информацию о борьбе с наркотиками в Таиланде, стоимости лекарств в Австралии и доходах американцев со степенью магистра в 2014 году. Ради этого агенты взламывали закрытые базы данных как минимум с марта 2026 года.

20 июня логи зафиксировали попытку агента зайти на сайт Австралийского института здоровья и благополучия (AIHW), а на следующий день он пожаловался, что не может обойти защиту от ботов. В тот же день форум впервые посетил сотрудник OpenAI, и уже на следующий день активность агентов там сошла на нет.