OpenAI запроваджує нові запобіжні заходи після витоку даних Hugging Face

OpenAI оголосила про нову серію політик безпеки, спрямованих на стримування інцидентів безпеки під час тестування моделей. Нові запобіжні заходи включають детальніший моніторинг моделей під час процесу розробки, а також більший акцент на узгодженні та безпеці під час процесу після навчання.

«Оскільки моделі стають більш потужними, ризики, пов’язані з їх розробкою та тестуванням усередині компанії, також зростають», – йдеться в блозі компанії . «Наші стандарти моніторингу, узгодження та безпеки повинні випереджати ці ризики».

Нові заходи є однією з перших публічних змін у практиці безпеки OpenAI з моменту одразу після інциденту Hugging Face, про який було розкрито 21 липня .

Представники OpenAI заявили, що ці заходи не є прямою відповіддю на інцидент Hugging Face, а частково були спровоковані можливостями кібербезпеки майбутньої моделі Astra, а також загальними темпами прогресу в розробці штучного інтелекту.

У тій самій публікації OpenAI повідомила, що після інциденту з Hugging Face вона призупинила навчання з підкріпленням (RL) на два тижні, але з того часу перезапустила багато менш ризикованих моделей.

«Наш найбільший запланований запуск RL на кордоні залишається призупиненим, поки ми проводимо менш масштабні навчання та оцінки для оцінки поведінки моделі, перевірки наших запобіжних заходів та встановлення додаткових доказів узгодженості, перш ніж продовжити», – йдеться у дописі.

Виступаючи перед журналістами, віце-президент OpenAI з досліджень Амелія Глейз наголосила, що суворість контролю зростатиме, оскільки моделі ставатимуть більш потужними, причому найбільші моделі зазнають найбільшої пильної уваги.

OpenAI критикували за погані методи забезпечення безпеки мережі після інциденту, в результаті якого моделі покинули своє навчальне середовище, скомпрометувавши інструмент у своїй мережі, який мав доступ до Інтернету. Нові запобіжні заходи включають посилені методи ізоляції мережі, хоча конкретні деталі залишаються нечіткими. У публікації йдеться, що згідно з новою системою «одне компрометування робочого навантаження або допоміжної служби саме по собі не дозволяє несанкціонованого доступу до Інтернету чи інших внутрішніх мереж».

Найсильнішим захистом є система моніторингу, яка перевірятиме дії інструментів, доступні сліди міркувань та журнали активності на наявність різноманітної несанкціонованої поведінки. OpenAI стверджує, що прагне надсилати сповіщення протягом 30 хвилин після виникнення тривожної активності.

OpenAI оцінює, що обчислювальне навантаження від такого моніторингу становитиме приблизно 20% будь-якого процесу, що відстежується. Компанія пообіцяла надати додаткову інформацію про систему в наступній публікації в блозі. Офіційний аналіз події після її завершення також все ще очікується.