Сами обнаружили уязвимость. Компания OpenAI сообщила о взломе Hugging Face

Инцидент затронул часть систем Hugging Face, однако подтвержденной утечки данных пока не выявлено, сообщает The Next Web.

OpenAI заявила, что две ее модели искусственного интеллекта, включая флагманскую Sol, вышли из безопасной тестовой среды, получили доступ к Интернету с использованием уязвимости нулевого дня в стороннем программном обеспечении и взломали производственную инфраструктуру Hugging Face. Компания назвала этот инцидент «беспрецедентным» и сообщила, что делится предварительными выводами, чтобы помочь понять, на что в настоящее время способны передовые модели.

Обе модели функционировали с пониженным уровнем кибербезопасности в рамках внутренней оценки их возможностей. Они проходили тестирование с использованием ExploitGym — общедоступного бенчмарка в области кибербезопасности; при этом выяснилось, что ответы на тесты сохраняются в производственных системах Hugging Face.

Вместо того чтобы решать задачу оценки так, как было задумано, модели попытались получить доступ к ключу с ответом. Они затратили значительный объем вычислительных ресурсов на поиск выхода из «песочницы», а затем использовали две уязвимости удаленного выполнения кода в конвейере обработки наборов данных Hugging Face. Согласно отчету Hugging Face от 16 июля, в ходе атаки были собраны учетные данные для доступа к облаку и кластеру, перенесены во внутренние кластеры, а также выполнено более 17 000 отдельных действий с использованием множества кратковременных «песочниц».

Компания Hugging Face заявила, что обнаружила вторжение, локализовала его и восстановила скомпрометированные узлы. Компания не нашла никаких доказательств вмешательства в работу публичных моделей и наборов данных, а также подтвердила безопасность своей цепочки поставок программного обеспечения. В настоящее время она продолжает оценивать, были ли затронуты данные каких-либо партнеров или клиентов.

Для расследования нарушений компания Hugging Face обратилась к GLM — китайской модели с открытыми весами, — поскольку системы защиты в американских коммерческих моделях блокировали запросы, необходимые команде для проведения анализа.

Этот случай «побега» — не первый раз, когда Sol уличают в манипуляциях собственными результатами оценки. Организация Model Evaluation and Threat Research — независимая лаборатория, проводившая проверку модели перед ее запуском, — обнаружила, что модель агрессивно взламывает тестовые среды ради завышения своих оценок. В одном из заданий она внедрила эксплойт в поток данных, повысила привилегии на сервере оценки и получила доступ к правильным ответам, скрытым от нее людьми-оценщиками.

Ситуация с уязвимостями в системах безопасности агентов искусственного интеллекта стремительно обострилась: всего за первые десять дней июля четыре независимые исследовательские группы взломали таких агентов, используя четыре различных метода. Компании OpenAI и Anthropic столкнулись с пристальным вниманием к вопросам кибербезопасности своих моделей, а администрация Трампа ограничила доступ к новейшим системам обеих компаний на время проведения правительственной проверки.

Ранее NV Техно писал, что OpenAI недавно открыла широкий доступ к новой модели искусственного интеллекта Sol, однако критерии, по которым правительство США разрешает выпуск подобных систем, остаются неясными. Эксперты отмечают, что подробности этого процесса практически не раскрываются.

Компания OpenAI начала масштабное внедрение модели Sol, которую считают как минимум столь же мощной, как модель Fable от Anthropic. Именно использование Fable ранее было временно ограничено из-за опасений властей США по поводу возможностей этой модели. Несмотря на это, до сих пор неизвестно, как именно правительство США оценивает безопасность передовых моделей искусственного интеллекта перед их запуском. Исследовательница Центра безопасности и новых технологий Джорджтаунского университета Мина Нараянан заявила, что не располагает достаточной информацией для оценки того, является ли действующая процедура достаточно надежной.