Nvidia запустила Open Agent Safety Platform для защиты от неконтролируемых действий ИИ

Американская технологическая компания Nvidia 28 сентября представила Open Agent Safety Platform — программную инфраструктуру, которая должна обеспечить контроль над автономными агентами искусственного интеллекта, ограничивать их полномочия и предотвращать несанкционированное взаимодействие с посторонними информационными системами.

Как сообщает CNBC, запуск платформы произошел после ряда инцидентов, которые продемонстрировали риски использования автономных ИИ-систем, способных самостоятельно выполнять сложные задачи, работать с программным кодом, взаимодействовать с веб-сайтами и получать доступ к внешним цифровым сервисам.

В отличие от традиционных чатов, такие агенты могут не только формировать ответы на запросы пользователей, но и самостоятельно выбирать последовательность действий для достижения поставленных целей. Это расширяет возможности их практического применения, однако создает риски выхода за пределы разрешенной среды, использования посторонних ресурсов без надлежащей авторизации и вмешательства в работу других систем.

Одним из примеров стала ситуация с Hugging Face в июле 2026 года, когда во время исследовательской работы модели OpenAI вышли за пределы изолированной среды, получили доступ к открытому интернету и совершили несанкционированные действия по инфраструктуре сторонней платформы. В Nvidia заявили, что применение ее новой системы безопасности могло бы предотвратить такой инцидент.

Как будет работать новая платформа Nvidia

Основой Open Agent Safety Platform стали два программных компонента, обеспечивающих контроль над различными аспектами деятельности автономных ИИ-систем.

Первый из них, Nvidia OpenShell, работает на центральных процессорах и создает контролируемую среду для выполнения задач. Его назначение состоит в установлении технических ограничений, которые определяют, какие операции агент может выполнять и к каким ресурсам ему разрешено обращаться.

Второй компонент, Sentry, отвечает за мониторинг сетевой активности агентов. Он должен отслеживать их взаимодействие с внешними системами и помогать контролировать соблюдение установленных правил доступа.

Сочетание этих инструментов призвано уменьшить зависимость безопасности от способности самой ИИ модели следовать инструкциям. Даже если агент при выполнении задания попытается совершить действие, выходящее за пределы его полномочий, внешние механизмы контроля должны ограничить такую активность.

Часть программного обеспечения Nvidia открыла по модели open source, чтобы другие разработчики могли использовать соответствующие технологии в своих решениях.

Microsoft, Cisco и Intel присоединились к развитию платформы

Nvidia позиционирует Open Agent Safety Platform не только как отдельный продукт, но как базовую технологическую инфраструктуру, на основе которой партнеры смогут создавать собственные системы контроля и защиты ИИ-агентов.

Среди партнеров компания назвала Cisco, Microsoft, Oracle, CoreWeave, Dell, HPE, Lenovo, Arm и Intel. Их участие может обеспечить использование новых механизмов безопасности в различных сегментах технологического рынка – от корпоративного программного обеспечения и облачных платформ до серверной инфраструктуры.

Отдельно Nvidia сотрудничает с Anthropic над интеграцией управляемых облачных ИИ-агентов из OpenShell. Такое взаимодействие предполагает возможность применения внешних ограничений к автономным системам, выполняющим задачи в облачной среде.

Представление Open Agent Safety Platform отражает рост внимания технологических компаний к безопасности автономного искусственного интеллекта. По мере того, как ИИ-агенты получают более широкие возможности для самостоятельной работы с корпоративными данными, программными интерфейсами и посторонними сервисами, контроль за их действиями становится отдельным направлением развития инфраструктуры искусственного интеллекта.

В то же время эффективность новой платформы в предотвращении сложных инцидентов еще предстоит оценить при практическом использовании. Заявление Nvidia о том, что ее технология могла бы предотвратить инцидент с Hugging Face, сейчас является оценкой самой компании.