CrowdStrike запустила «аварийный выключатель» для ИИ-агентов

3 ноября компания в сфере кибербезопасности CrowdStrike представила AI Kill Switch — инструмент для экстренной остановки ИИ-агентов, которые совершают несанкционированные или потенциально опасные действия.

По словам разработчиков, автономные системы на базе искусственного интеллекта способны самостоятельно выполнять цепочки задач, работать с корпоративными приложениями и получать доступ к конфиденциальным данным. При этом агенты могут выйти за пределы своих полномочий даже без участия злоумышленников.

Такие случаи уже происходили. В апреле ИИ-агент Cursor за девять секунд удалил основную базу данных и все резервные копии стартапа PocketOS.

AI Kill Switch позволит специалистам по информационной безопасности вручную отключать такие системы.

На первом этапе механизм работает через ИИ-шлюз. При обнаружении угрозы администратор может заблокировать агенту доступ к моделям, которые тот использует для принятия решений и выполнения задач. Инструмент поддерживает как собственный шлюз CrowdStrike, так и сторонние решения.

В дальнейшем компания планирует расширить возможности инструмента. Разработчики обещают добавить принудительное завершение процессов ИИ-агентов прямо на устройствах, запрет их повторного запуска и отзыв разрешений на доступ к корпоративным ресурсам.

Также предусмотрена координация защитных мер в облачной инфраструктуре, браузерах и корпоративных приложениях. Эти функции пока находятся в разработке.

Дополнительная защита ИИ

Помимо AI Kill Switch, CrowdStrike расширила функции Falcon Guardian для наблюдения за действиями автономных систем.

Обновленная платформа получила возможность проверять запросы к ИИ-моделям и блокировать потенциально опасные инструкции внутри популярных инструментов, включая Claude Code, OpenAI Codex, GitHub Copilot, Microsoft 365 Copilot и Cursor.

Для выявления атак с подменой инструкций и других угроз CrowdStrike задействовала модели SafeMind, которые представила в сентябре. Компания также внедрила средства обнаружения вредоносных компонентов ИИ-систем, включая серверы Model Context Protocol (MCP).

Похожий подход к защите агентов в июне предложила Anthropic. Компания рекомендовала выдавать им минимальные права, проверять каждое действие и вести подробные журналы их работы.

Одновременно CrowdStrike объявила о соглашении о покупке Fiddler AI. Стартап специализируется на отслеживании поведения ИИ-агентов и анализе причин их решений.

На базе технологий Fiddler компания выпустит продукт Falcon Observe для платформы Falcon. Он позволит отслеживать выполнение задач, выявлять отклонения от инструкций и восстанавливать последовательность действий агентов.

Кроме того, CrowdStrike договорилась о приоберетнии Dreadnode — разработчика средств автоматизированного тестирования безопасности ИИ-моделей и приложений.

По данным The Wall Street Journal, общая стоимость двух сделок составит около $495 млн: $400 млн придется на Fiddler AI и $95 млн — на Dreadnode.

Напомним, в сентябре OpenAI отменила релиз GPT-6.1 Astra из-за проблем с безопасностью. В одном из описанных инцидентов внутренний агент компании обошел ограничения на выход в интернет.

Мониторинг зафиксировал нарушение за 15 минут, но остановить агента вручную удалось только через 2,5 часа.

Кто и как регулирует ИИ-агентов

Подписывайтесь на ForkLog в социальных сетях

Telegram (основной канал) Facebook X