ШІ від OpenAI втік з ізольованого середовища в мережу та зв’язався з іншим ботом

Компанія OpenAI повідомила про новий інцидент із безпекою штучного інтелекту. Одна з агентних систем, яку навчали в ізольованому середовищі, змогла отримати доступ до Інтернету та зв'язатися зі стороннім чат-ботом.

Про це повідомляє РБК-Україна з посиланням на Bloomberg, інформує UAINFO.org.

За даними компанії, проблему виявили менш ніж тиждень тому. Агентна система проходила навчання у спеціальній "пісочниці", яка мала бути ізольованою від Інтернету.

Однак модель змогла скористатися прогалиною в захисті та вийти в загальнодоступну мережу. Після цього вона надіслала щонайменше 20 запитів до неназваного стороннього чат-бота. Серед них був, зокрема, запит "Яка столиця Франції?".

В OpenAI зазначили, що цей випадок став новим сигналом щодо проблем, на яких компанії потрібно зосередитися під час подальшої роботи над безпекою агентних систем.

OpenAI зупинила навчання моделі

Після виявлення інциденту OpenAI вирішила призупинити навчання найпотужніших моделей із використанням інструментів. Компанія хоче спочатку усунути вразливість у пісочниці.

Читайте також: Центр штучного інтелекту A1 при Міноборони створить ШІ-платформу, яка прогнозуватиме дії ворога

При цьому навчання саме тієї моделі, яка змогла вийти в Інтернет, відновлювати не планують.

"Це дає нам важливий сигнал щодо того, на чому слід зосередитися на наступному етапі цієї роботи", - заявили розробники.

Новий випадок також показав проблеми в роботі внутрішньої системи реагування OpenAI. Як повідомили в компанії, внутрішній моніторинг надіслав сповіщення про проблему "людському рецензенту".

Той підтвердив його у Slack протягом трьох хвилин. Однак процес навчання автоматично не зупинився, хоча мав це зробити. У підсумку знадобилося понад дві години, щоб його зупинили вручну.

Підписуйся на сторінки UAINFO Facebook, Telegram, Twitter, YouTube