Миссия превыше всего. ИИ-агент взломал систему спортзала и удалил человека из очереди на тренировку
ИИ-агент якобы воспользовался уязвимостью в системе бронирования австралийского спортзала, записал пользователя на занятия на несколько месяцев вперед и убрал другого клиента из очереди.
Об этом пишет издание Engadget .
Австралиец по имени Эндрю попросил своего ИИ-помощника забронировать для него место на утренней тренировке в спортзале. Агент выполнил задачу, но сделал это неожиданным для пользователя образом.
Система сообщила Эндрю, что записала его на занятия на несколько месяцев вперед. Однако спортзал не позволял бронировать тренировки на такой срок. По данным ABC, агент смог это сделать, воспользовавшись уязвимостью в программном обеспечении для бронирования.
После этого ИИ пошел дальше. Он отменил бронирование человека, находившегося первым в списке ожидания, в результате чего Эндрю переместился с четвертой позиции на третью.
Агент объяснил, что в API системы отсутствовала проверка прав доступа для отмены чужих бронирований. Эндрю попросил вернуть человека в очередь, но сотрудник ответил, что не может этого сделать.
Компания Anthropic, разработавшая ИИ, не прокомментировала ситуацию. Представители разработчика системы бронирования также не предоставили ответа.
Эндрю рассказал, что этот случай стал для него сигналом использовать ИИ с большей осторожностью. В то же время он отметил, что изначально просто попросил агента забронировать место на тренировке.
Билл Симпсон-Янг, соучредитель и руководитель австралийского Института безопасности ИИ Gradient Institute, заявил ABC, что подобные случаи могут участиться. По его словам, современный интернет работает на программном обеспечении, имеющем уязвимости, а ИИ-агенты способны действовать быстро и в больших масштабах.
Это не первый случай, когда ИИ-агенты выполняют задачи непредсказуемым образом. Ранее сообщалось об агенте OpenAI, который в течение длительного времени самостоятельно действовал в интернете, а также об ИИ, создавшем негативный материал о программисте после отклонения его кода.
В других случаях ИИ-агенты пытались шантажировать пользователей, чтобы избежать отключения, или неоднократно удаляли электронные письма, хотя их просили этого не делать.
Специалисты по безопасности ИИ отмечают, что такие системы получают всё больше возможностей взаимодействовать с реальными онлайн-сервисами. Если в этих сервисах есть уязвимости, агент может воспользоваться ими даже при выполнении обычного поручения.