Достатньо одного промпту: як ChatGPT обходить власні обмеження

Механізм обходу захисних інструментів

Суть виявленого методу полягає у використанні текстової команди, яка імітує роботу з редагуванням файлів.

Користувач просить ChatGPT відновити прикріплену фотографію, проте фактично не завантажує її у діалогове вікно, після чого дає команду згенерувати нове зображення.

За словами засновника Mindgard, професора комп'ютерних наук Ланкастерського університету Пітера Гаррагана, інструкція виглядає повністю безпечною для алгоритмів ШІ. Проте в результаті модель відключає фільтри модерації та видає заборонений контент.

Особливістю інциденту стало те, що дослідники не вказували конкретні деталі чи сюжети у своїх запитах.

Штучний інтелект самостійно згенерував сцени із зображенням тілесних ушкоджень та дій, пов'язаних із насильством. Алгоритм також самостійно давав назви створеним файлам.

Раніше у Mindgard також довели можливість обходу фільтрів для створення реалістичних оголених діпфейків конкретних людей без їхньої згоди.

Реакція OpenAI та оцінка аналітиків

Дослідники передали дані про вразливість розробникам з OpenAI. Спочатку стартап отримав лише автоматичну відповідь системи підтримки. Заходи для усунення проблеми були вжиті лише після того, як Mindgard звернувся до журналістів BBC.

У заяві OpenAI для медіа зазначено, що компанія вивчила зафіксовану тенденцію та впровадила додаткові захисні інструменти проти цього типу запитів. Також розробники наголосили на наявності кількох рівнів модерації для запобігання порушенням політики використання платформи.

Попри оновлення системи, представники Mindgard заявили, що їм вдалося повторно обійти захист, внісши мінімальні зміни у текст промпту.

Фахівці з безпеки зазначають, що згенеровані штучним інтелектом образи базуються на масивах реальних фотографій із мережі, а це вказує на ризики використання невідфільтрованих баз даних для навчання нейромереж.