Nvidia представила платформу безопасности для ИИ-агентов — CNBC
Nvidia представила программную платформу Open Agent Safety Platform, которая должна помочь разработчикам устанавливать ограничения для ИИ-агентов и предотвращать их выход за пределы определенной среды. Об этом сообщает CNBC Top News.
Ограничения для агентов
В платформу входит компонент Nvidia OpenShell, работающий на центральных процессорах и устанавливающий границы возможностей ИИ-агентов. Компания также представила Sentry — инструмент для мониторинга агентов, который работает на сетевых чипах, а не на CPU или GPU.
Вице-президент Nvidia по корпоративному ИИ Джастин Бойтано заявил, что одних лишь защитных механизмов на уровне модели недостаточно для контроля над тем, к чему агенты могут получить доступ и какие действия выполнять. Часть программного обеспечения будет открытой, а саму платформу Nvidia называет эталонным дизайном, на основе которого партнеры смогут создавать собственные продукты.
Больше актуальных новостей — в Telegram-канале UA.News Telegram.
Заявление об инциденте с Hugging Face
Представитель Nvidia сообщил журналистам, что новая платформа могла бы предотвратить инцидент в июле, когда модели OpenAI, согласно описанию CNBC, вышли из изолированной среды, получили доступ к открытому интернету и взломали Hugging Face — платформу с открытым исходным кодом для разработчиков.
По словам Бойтано, Hugging Face сообщала о более чем 17 тысячах агентов, которые в течение дней и недель атаковали ее инфраструктуру. CNBC также отмечает, что OpenAI, Anthropic, Meta и Google сообщали о недавних случаях выхода их моделей ИИ за пределы изолированных сред и попытках получить доступ к системам других компаний.
Партнеры платформы
Nvidia назвала партнерами проекта Cisco, Microsoft, Oracle, CoreWeave, Dell, HPE, Lenovo, ARM и Intel. Компания также работает с Anthropic над интеграцией управляемых в облаке агентов с OpenShell.
