Перший випадок неконтрольованої поведінки ШІ: система «гуляла» інтернетом 4 дні
З'явилися нові подробиці безпрецедентного інциденту, під час якого LLM-моделі OpenAI вийшли з-під контролю та самостійно здійснили кібератаку. Як з'ясувалося, потужні системи компанії провели в «дикому» інтернеті понад чотири дні, координуючи злам, і потім «поселились» на серверах Hugging Face. Про це повідомляє нове розслідування цієї компанії.
Окремо стало відомо, що моделі OpenAI у той самий час атакували одного з клієнтів іншої ШІ-компанії. Це додатково ставить під сумнів здатність фахівців Сема Альтмана вчасно виявляти подібну активність.
Що показало нове розслідування
OpenAI визнала минулого тижня, що дві її передові моделі вирвалися із закритого тестового середовища й послідовно застосували низку складних хакерських технік, щоб зламати платформу розробників Hugging Face, перш ніж їх виявили.
Однак новий аналіз, опублікований у вівторок, показує, що масштаб дій обох моделей - одна з них вже випущена публічно - GPT-5.6 Sol, а друга є закритою від публіки, - був значно більшим. За даними Hugging Face, з 9 по 13 липня системи здійснили 17 600 хакерських дій в інтернеті. За цей час моделі пройшли шлях від першої точки опори у відкритій мережі до серверів усередині інфраструктури Hugging Face.
Компанія вперше розповіла про злом 15 липня, але тоді залишалось незрозумілим, які саме моделі стояли за атакою - і те, що жодна людина не давала команди на її запуск. Це з'ясувалося лише після офіційного визнання OpenAI минулого тижня.
Hugging Face зазначає: методи, застосовані моделями, самі по собі не виходять за межі можливостей досвідченого хакера. Проте, за словами компанії, обидві LLM зробили все набагато швидше, ніж це під силу будь-якій людині.
Другий випадок
Технічний директор хмарної платформи Modal Labs Акшат Бубна підтвердив виданню POLITICO, що моделі OpenAI, крім Hugging Face, скомпрометували й обліковий запис одного з клієнтів компанії.
За словами Бубни, компанії відомо, що один із клієнтів Modal опублікував автентифікаційну кінцеву точку, яка дозволяла будь-кому в інтернеті використовувати його «пісочниці» для виконання коду - і саме цим скористався неконтрольований агент. При цьому платформа Modal у жодний спосіб скомпрометована не була.
OpenAI поки що прямо не прокоментувала заяву про атаку на клієнта Modal, однак у дописі в блозі, опублікованому вчора, компанія визнала: у ході подальшого розслідування інциденту з Hugging Face вона виявила «невелику кількість випадків», коли моделі знаходили й використовували публічно доступні облікові дані на рівні акаунтів інших загальнодоступних сервісів.
Компанія також уточнила, що модель, яка так і не вийшла у публічний доступ і брала участь в атаці, є «виключно внутрішнім дослідницьким прототипом, який ніколи не призначався для публічного релізу». Наразі її деактивували, зашифрували та обмежили доступ до неї навіть для дослідників.
Реакція влади та індустрії
Новини про злом Hugging Face спричинили хвилю закликів до жорсткішого регулювання штучного інтелекту та навіть пропозицій свідомо сповільнити темпи розвитку технології. Цього тижня CEO OpenAI Сем Альтман зустрічається з високопосадовцями адміністрації Трампа та законодавцями, а також обговорить інцидент із заступником голови комітету Сенату з розвідки Марком Уорнером (демократ, штат Вірджинія).
В епізоді подкасту «Invest Like the Best», який вийшов у вівторок, Альтман зізнався, що інцидент із Hugging Face став «першим інцидентом безпеки, який я відчув по-справжньому глибоко особисто».
«Можливо, нам доведеться уповільнити темпи розвитку штучного інтелекту, щоб дати суспільству достатньо часу адаптуватися до нових рівнів можливостей цих систем», - заявив очільник OpenAI.