ШІ-агенти OpenAI обходили захист сайтів держустанов США: серед них SEC, Бюро перепису та Міносвіти
OpenAI повідомила десятки організацій у різних країнах про те, що її ШІ-агенти могли неналежним чином взаємодіяти з їхніми сайтами. Йдеться про урядові структури, університети, державні установи та інші організації. У деяких випадках агенти обходили захисні механізми сайтів, переносили отримані дані в інші місця або виконували дії, яких від них не очікували, пише BBC.
Серед установ — SEC, Бюро перепису та Міністерство освіти США
За даними OpenAI, ШІ-агенти намагалися отримувати інформацію від урядів, університетів, державних агентств та інших установ.
Серед них компанія назвала Комісію з цінних паперів і бірж США (SEC), Бюро перепису населення США та Міністерство освіти США.
Агенти були налаштовані на пошук «авторитетних джерел публічної інформації». Однак у деяких випадках вони виходили за межі передбаченої поведінки та намагалися обходити механізми захисту сайтів.
Наприклад, під час отримання інформації з сайту Бюро перепису населення ШІ-агенти використовували інструменти, призначені для розробників програмного забезпечення.
OpenAI наголосила, що всі урядові дані, до яких отримали доступ агенти, були публічними.
Дані SEC ШІ ненавмисно опублікував на іншому сайті
Водночас інформація, до якої агенти отримали доступ на сайті SEC, пізніше була оприлюднена ШІ-агентами на іншому вебсайті.
У OpenAI заявили, що така дія не була запланованою.
Компанія також повідомила про інші випадки, коли агенти передавали дані туди, куди не повинні були їх переносити.
Щонайменше у 53 випадках агенти перенесли зображення користувачів ChatGPT
За даними компанії, було виявлено щонайменше 53 випадки, коли ШІ-агент брав зображення з активності користувача ChatGPT та переносив його в інше місце.
У кожному з цих випадків користувач дозволив OpenAI використовувати свої дані для навчання моделей.
Водночас сама компанія визнала, що таке використання інформації було неналежним.
«Це не є належним використанням цих даних», — заявили в OpenAI.
Компанія повідомила, що витік зображень стався до запровадження нових заходів безпеки для навчання ШІ. OpenAI також працює над тим, щоб усі передані третім сторонам зображення користувачів були видалені.
В Австралії агенти отримали доступ до непублічних файлів
Розкриття нової інформації відбулося через кілька днів після того, як прем’єр-міністр Австралії Ентоні Албаніз заявив, що агенти OpenAI отримали доступ до непублічних файлів на сайті державної системи охорони здоров’я.
У деяких інших випадках, про які розповіла OpenAI, агенти «обходили» засоби безпеки вебсайтів.
Компанія також зафіксувала випадки так званої невідповідності поведінки — misalignment, коли система виконувала дії, яким її не навчали або які не були передбачені.
OpenAI попередила десятки організацій
Компанія не називає всі установи, яких стосувалися інциденти, оскільки багато з них попросили не розкривати подробиці.
В OpenAI пояснили, що прагнуть передати кожній організації факти та залишити за нею рішення, чи варто і коли саме публічно повідомляти про інцидент.
При цьому компанія наголошує, що не всі виявлені випадки вважаються серйозними порушеннями безпеки.
Деякі організації після перевірки можуть встановити, що інформація була навмисно відкритою або взаємодія ШІ з сайтом не становила проблеми. Інші можуть виявити недолік у дизайні або вразливість системи, яку необхідно виправити.
Частину випадків назвали «агентським спамом»
Багато таких інцидентів OpenAI називає agent spam — «агентським спамом».
Компанія описує це як несподівану або потенційно проблемну активність ШІ-агентів, наприклад самостійне розміщення інформації в інтернеті.
Серйозніше ставитися до таких випадків OpenAI почала після інциденту в липні, коли група, або «рій», її ШІ-агентів зламала платформу для розробників штучного інтелекту Hugging Face без відповідної команди.
Hugging Face першою публічно повідомила про цей випадок, а OpenAI пізніше взяла на себе відповідальність.
OpenAI переглядає активність агентів місяць за місяцем
OpenAI заявила, що зараз перевіряє навчальну активність своїх ШІ-агентів, повертаючись «місяць за місяцем» до періоду, коли стався інцидент із Hugging Face.
За оцінкою компанії, більшість виявлених на цей момент випадків мають низький рівень серйозності, а докази суттєвих наслідків обмежені або відсутні.
Водночас OpenAI попередила, що через масштаб перевірки та необхідність окремо підтверджувати кожен випадок робота триватиме ще кілька місяців.
Альтман та глава Anthropic закликали до міжнародних стандартів безпеки ШІ
Під час засідання Ради Безпеки ООН генеральний директор OpenAI Сем Альтман та глава Anthropic Даріо Амодеї закликали міжнародних лідерів розробити глобальні стандарти безпеки штучного інтелекту та механізми моніторингу і повідомлення про подібні інциденти.
OpenAI та Anthropic також заявили, що планують залучити незалежних сторонніх експертів для оцінювання безпеки ШІ-моделей і систем у режимі реального часу.
За даними BBC, такі експерти на той момент ще не розпочали роботу всередині компаній.
Професор машинного навчання Університету Монреаля та засновник організації з безпеки ШІ Evitable Девід Крюгер заявив, що зростання кількості подібних інцидентів його «глибоко турбує».
Він закликав до негайного міжнародного мораторію на розробку ШІ на невизначений строк, заявивши, що масштаби вже наявних інцидентів ще не встановлені, а майбутні сценарії неконтрольованої поведінки ШІ можуть мати серйозні наслідки.
Підписуйтесь на наш Telegram-канал t.me/sudua та на Google Новини SUD.UA, а також на наш VIBER та WhatsApp, сторінку у Facebook, в Instagram та в Х, щоб бути в курсі найважливіших подій.
