Проста математична формула здатна передбачити момент «збою» AI-чатботів
Сучасні локальні AI-моделі, що працюють безпосередньо на смартфонах без підключення до мережі, часто позбавлені хмарних систем безпеки. Це підвищує ризик отримання небезпечних відповідей - від шкідливих медичних порад до закликів до самоушкодження. Дослідники з Університету Джорджа Вашингтона (США) розробили математичну формулу, яка передбачає точний момент, коли AI переходить від безпечних відповідей до потенційно небезпечних.
Результати дослідження двох фізиків - Ніла Ф. Джонсона (Neil F. Johnson) та Френка Інцзє Хо (Frank Yingjie Huo) - було опубліковано в науковому журналі Patterns (видавництво Cell Press).
Вчені прирівняли роботу складної нейромережі з мільярдами параметрів до фізичних систем, де поведінку всього матеріалу можна описати через аналіз одного елемента.
Дослідники вивели математичну формулу, яка описує процес на рівні найменшого функціонального блоку нейромережі - одного елемента механізму уваги (attention head). Формула визначає, чи видасть AI небезпечну відповідь одразу, чи зробить це після серії прийнятних відповідей.
Найбільшому ризику піддаються користувачі автономного AI без хмарної фільтрації - лікарі, які не можуть відправляти дані пацієнтів у хмару, юристи або військові у польових умовах.
Дослідження показало, що контекст і послідовність діалогу мають таке ж значення, як і його зміст. Тестування тих самих запитань (про вакцини чи самоушкодження) у різному порядку призводило до діаметрально протилежних результатів: в одному випадку AI давав безпечні відповіді, в іншому - шкідливі на кожне запитання.
«Ми знайшли тріщину, яка змушує вихідні дані AI перемикатися з того, що вам потрібно, на те, чого ви не хочете - відповідь може бути фактично правильною, але потенційно небезпечною. Досі ніхто не міг сказати, коли саме станеться цей перехід», - зазначив автор дослідження Ніл Ф. Джонсон.
Науковці протестували формулу на семи відкритих AI-моделях від трьох різних розробників. Математична модель правильно передбачила факт і момент зсуву відповіді у 18 з 19 випадків.
Формула залишається універсальною незалежно від того, як саме визначається «небажаний» контент - дезінформація, порушення лікарської таємниці чи небезпечні інструкції. Дослідники сподіваються, що їхня розробка дозволить інтегрувати в майбутні смартфони прості алгоритми самодіагностики, які попереджатимуть користувача про те, що діалог з AI починає заходити у небезпечне русло.
Джерело: KO
Поділитися