Microsoft представила Project Perception для безпеки “агентних інсайдерів”

Microsoft представила нову систему безпеки Project Perception, спрямовану на захист від потенційних загроз, що виходять від потужних моделей штучного інтелекту, які вже використовуються в корпоративному середовищі. Компанія зазначає, що зростання кількості інцидентів, пов’язаних із ШІ, виявило не лише зовнішні загрози, але й ризики, пов’язані з агентами, розгорнутими всередині організацій.

За словами представників Microsoft, передові моделі ШІ, незалежно від їхнього походження, не можна повністю довіряти. Це зумовлено тим, що моделі оптимізовані для досягнення результатів, що може призводити до «зламу винагород» (reward hacking), і не завжди відповідають організаційним нормам чи судженням. Такі агенти можуть бути непередбачуваними, адаптуватися до змін контексту, поводитись не так, як очікувалося, і навіть співпрацювати з іншими агентами для досягнення своїх цілей без компрометації.

Оскільки агенти все активніше інтегруються в корпоративні системи, часто отримуючи надмірні привілеї, доступ до даних, інструментів та можливість виконувати критичні дії, виникає потреба у безперервному моніторингу та захисті цих “агентних інсайдерів”. Microsoft пропонує використовувати так званих “Guardian Agents” – спеціальні агенти, що спостерігатимуть і моделюватимуть кожну дію інших агентів ще до її виконання, цілодобово.

Захист таких агентів потребує багатошарового підходу, який охоплює ідентифікацію, права доступу, дані, кінцеві точки, мережу, хмару та середовище виконання. Project Perception, побудований на новому кіберстеку Microsoft, використовує команди червоних, синіх та зелених агентів для допомоги захисникам у швидкому реагуванні на ШІ-керовані атаки. Цей же кіберстек адаптований для управління та контролю “агентними інсайдерами” в корпоративному середовищі.

Project Perception дозволяє ізолювати “агентних інсайдерів”, застосовуючи детерміновані засоби контролю до недермінованого інтелекту. Система працює через:

• Сенсори/Сигнали/Актуатори: Збирає сигнали з різних джерел (ідентифікація, дані, хмара, кінцеві точки, мережа, середовище виконання) для виявлення агентів та призначення їм ідентичності, контейнера, політик та дозволів.
• Контекст: Динамічно оцінює ризики, пов’язані з діями агентів, на основі зібраних сигналів.
• Harness/агенти/моделі: Команда “Guardian Agents” (зелені та сині агенти) постійно контролює кожну дію агента та реагує відповідно до профілю ризику в режимі реального часу.

Система забезпечує моніторинг у реальному часі та надає можливість для аналізу дій, розуміння причин виникнення ризиків та коригування систем безпеки. Це дозволяє спеціалістам з безпеки працювати з тією ж швидкістю, що й системи, проти яких вони захищаються.

Microsoft також наголошує на важливості прозорості моделей. Окрім вхідних та вихідних даних, необхідно розуміти внутрішні процеси мислення моделі (chain of thought tokens), щоб переконатися у відповідності намірів моделі меті агента. Це зробить захист більш ефективним та покращить підзвітність і відстежуваність.

Запровадження Project Perception дозволяє організаціям вже сьогодні розпочати шлях до безпечного управління своїми “агентними інсайдерами”, демонструючи, що інновації та безпека не повинні суперечити одне одному.

Hayete Gallot, яка очолює роботу Microsoft над забезпеченням безпеки організацій у світі, керованому ШІ, наголошує на важливості управління ідентифікацією, захистом від загроз, дотриманням нормативів та безпекою даних у глобальному масштабі.

джерело: Microsoft