OpenAI уповільнла розробку моделі Astra через проблеми безпеки
OpenAI заявила, що призупинила роботу над деякими аспектами своєї майбутньої моделі Astra після того, як внутрішня перевірка виявила, що компанія досягла значного прогресу в агентному кодуванні та кібербезпеці, що достатньо, щоб викликати занепокоєння щодо її можливостей.
OpenAI повідомила , що ця модель, яка все ще перебуває в розробці, досягла свого «критичного порогу кібербезпеки», тобто вона може самостійно виявляти та здійснювати кібератаки на традиційно добре захищені реальні системи. Згідно з «Рамкою готовності» компанії, створеною у 2023 році, це призвело до вжиття додаткових заходів безпеки.
«Хоча ми продовжуємо проводити порівняльний аналіз та оцінку цієї моделі, наші попередні оцінки вказують на достатньо високу продуктивність, щоб ми не могли виключити критичний рівень можливостей на даний момент», – написали в OpenAI. «Astra – це майбутня модель, яка не брала участі в експлуатації Hugging Face».
Це розкриття інформації підкреслює незвичайний момент у перевернутому з ніг на голову та все ще новому секторі передових лабораторій штучного інтелекту. Компанії з усіх галузей приховують свої продукти через потенційні ризики, зокрема з міркувань безпеки та кібербезпеки. Але вони рідко публічно оголошують про ці рішення, коли йдеться про продукт, який все ще перебуває на стадії розробки.
У цьому випадку OpenAI вже перебуває під пильною увагою після того, як інша неопублікована модель порушила системи Hugging Face під час внутрішнього тестування — перший підтверджений інцидент, коли лабораторія штучного інтелекту втратила контроль над своєю моделлю. Відтоді OpenAI та лабораторії штучного інтелекту, такі як Anthropic, розкрили інші інциденти, в яких моделі штучного інтелекту порушували їхні пісочниці та створювали загрози під час тестів кібербезпеки.
Ця низка випадків — здається, що щодня з'являються нові викриття — викликала різну реакцію експертів з кібербезпеки, законодавців та самих лабораторій штучного інтелекту. Деякі висловлюють побоювання та закликають до суворішого нагляду. Але також є певні маневри. У певних колах будь-яка лабораторія штучного інтелекту з моделлю, яка має такі можливості, буде розглядатися як вражаючий прогрес.
OpenAI заявила, що поширює цю інформацію, оскільки вважає «важливим бути прозорим з громадськістю та спільнотою безпеки щодо цієї потенційної зміни можливостей».