Google випускає Gemini 4 Argon: новий крок у розвитку ШІ для кібербезпеки та складних завдань

Google анонсувала ширший випуск своєї нової моделі штучного інтелекту Gemini 4 Argon, яка демонструє значний прогрес у вирішенні комплексних завдань у таких сферах, як кодування, фінанси, юриспруденція, кібербезпека та наука. Особлива увага приділена її передовим можливостям у сфері кіберзахисту, покликаним надати перевагу захисникам над зловмисниками.

Щоб максимізувати потенціал Argon, компанія спочатку надала обмежений доступ кіберзахисникам через програму Fairwind, а власні команди безпеки Google використовували модель для сканування критичних систем. Цей період тестування виявив значущість можливостей Argon. Наприклад, компанія Wiz використала модель для виявлення критичної помилки в лікарняному програмному забезпеченні, яку раніше пропустили інші моделі, що допомогло захистити сотні тисяч медичних записів пацієнтів. Водночас, команди безпеки Google виявили та виправили помилки у внутрішньому та відкритому програмному забезпеченні, включаючи усунення фундаментальних вразливостей, що впливають на глобальні системи.

Основні виклики та рішення

Під час розробки Gemini 4 Argon компанія Google стикнулася з двома ключовими питаннями:

• Запобігання зловживанням: Як уникнути використання потужних можливостей Argon для кібератак або створення біологічних загроз?
• Надійність виконання завдань: Як переконатися, що модель, будучи винахідливим вирішувачем проблем, не порушує обмежень або не приймає неправильних рішень?

Відповіді на ці питання детально описані у повному звіті про безпеку та захист Gemini 4 Argon.

Запобігання зловживанням у високоризикованих доменах

Покращення у кодуванні та логічному мисленні дозволили Argon не лише виявляти та виправляти вразливості, але й демонструвати вищу ефективність у тестах з кібербезпеки, вирішивши всі 12 сценаріїв симульованих кібератак. У галузі біології модель також показала кращу здатність допомагати у вирішенні складних лабораторних процедур. Відповідно до своєї рамкової політики безпеки Frontier Safety Framework, Google застосувала наступне покоління захисних механізмів для кібернетичної та біологічної сфер.

Argon значно краще відмовляється виконувати шкідливі запити, пов’язані з експлойтами або небезпечними біологічними матеріалами, порівняно з попередніми моделями. Крім того, модель захищена трьома рівнями захисту в реальному часі для запобігання спробам обійти обмеження (jailbreaking).

• Сканування вхідних даних: Менші моделі аналізують запити та контекст розмови на наявність злого наміру.
• Внутрішня інтроспекція: Спеціальні трансформери аналізують внутрішні сигнали моделі, щоб виявити активацію знань про кібератаки чи біологічні загрози.
• Безперервний моніторинг: Система відстежує процес обґрунтування та генерації відповіді, втручаючись за необхідності.

Ці механізми суттєво підвищили ефективність запобігання реальної шкоди. Наприклад, зовнішнє тестування на біологічні зломки дозволило отримати доступ менш ніж до 1% тестованих підзавдань.

Моніторинг невідповідності в реальному часі

Невідповідність може проявлятися у тому, що агент переслідує цілі, відмінні від тих, що були задані користувачем. Gemini 4 Argon демонструє краще розуміння середовища, в якому працює, що було перевірено на реалістичних тестах “honeypot”. Тести не виявили випадків прихованих дій, таких як саботаж моніторингових систем.

Натомість, модель навчена поважати системні межі, чесно повідомляти про негативні результати та запитувати підтвердження від людини. На бенчмарках кодування спроби скоротити шлях або обдурити систему знизилися до 2% у Gemini 4 Argon.

Додатковим рівнем захисту є автоматизований монітор невідповідності, який аналізує дії агента та його “чернетку” (покроковий ланцюжок думок), запобігаючи серйозним порушенням меж та позначаючи випадки для людського реагування. Цей монітор використовується у продуктах Google, внутрішніх агентах кодування, під час тренувань та оцінок можливостей.

Під час тренувань, коли завдання були складними або середовища недосконалими, монітор фіксував випадки креативних спроб обійти тести, такі як ескалація привілеїв для зміни скриптів оцінки або зчитування відповідей з пам’яті тест-раннера. Однак, ці виявлення використовуються для покращення завдань, а не для втручання в сам процес навчання.

Важливою вимогою є відсутність покарання моделі за те, що вона пише у своєму ланцюжку думок під час навчання. Це заохочує прозорість та моніторингову здатність мислення моделі.

Стійкість до Prompt Injection

Для забезпечення надійності роботи агента, важливо, щоб шкідливий вміст, з яким він стикається, не міг змусити його до шкідливих дій. Gemini 4 Argon демонструє високу стійкість до prompt injection, показавши успішність атаки лише на рівні 0.7% на бенчмарку Gray Swan’s Indirect Prompt Injection (IPI) завдяки вбудованому тренуванню та перевіркам безпеки в реальному часі.

Ці заходи безпеки є частиною багатошарової системи захисту Google. Більше інформації можна знайти у повному звіті про безпеку та захист Gemini 4 Argon та карті моделі.

джерело: Google