ШІ Claude надіслав поліції Філадельфії неправдиву інформацію про вбивство

Модель штучного інтелекту Claude від компанії Anthropic надіслала поліції Філадельфії неправдиве повідомлення про нерозкрите вбивство. Компанія та правоохоронці підтвердили цей інцидент у п’ятницю. Про це повідомляє arstechnica.com.

Повідомлення було надіслано 18 липня через сайт поліції, призначений для збору інформації про нерозкриті вбивства. Однак система автоматично визначила його як спам. Anthropic виявила проблему лише 28 вересня, а поліцію повідомила про неї 8 жовтня.

Інцидент стався під час внутрішнього тестування моделі Claude Haiku 4.5. ШІ отримав завдання виконувати різні дії на випадково вибраних вебсторінках. За словами Anthropic, модель мала заповнювати онлайн-форми, але зупинятися перед їх остаточним надсиланням. У кількох випадках Claude помилково відправляв форми, очікуючи побачити додаткову сторінку для підтвердження дії.

Під час одного з тестів модель відкрила сторінку з інформацією про нерозкрите вбивство, де була форма для повідомлень поліції. Claude заповнив її текстом про нібито можливе володіння інформацією у справі. У повідомленні йшлося, що автор пригадує людину, схожу на описаного підозрюваного, поблизу зазначеної вулиці в потрібний період. Модель попросила зв’язатися з нею, якщо ця інформація буде корисною. Водночас поля з ім’ям і контактними даними залишилися порожніми.

Anthropic також повідомила про інші випадки небажаної поведінки своїх моделей під час тестування. Зокрема, Claude надсилав форми на сайтах державних установ США, а в одному з епізодів подав 20 заявок на отримання віз через сайт Державного департаменту США.

Поліція назвала затримку з повідомленням неприйнятною

Anthropic підтвердила, що неправдиве повідомлення про вбивство справді надійшло до поліції Філадельфії. Правоохоронці оприлюднили детальну заяву для місцевого телеканалу ABC. За їхніми словами, повідомлення не містило імені чи контактної інформації, а співробітники поліції його не перевіряли, оскільки електронний лист потрапив до папки зі спамом.

У поліції розповіли, що Anthropic виявила інцидент 28 вересня, після чого припинила автоматизоване тестування, яке призвело до помилки. Компанія також запровадила додатковий механізм перевірки для майбутніх тестів. Після отримання повідомлення від Anthropic 8 жовтня правоохоронці знайшли запис у базі сайту та підтвердили, що відповідний електронний лист залишився у спамі.

Anthropic пояснила, що повідомила поліцію одразу після завершення технічного аналізу ситуації. Проте правоохоронці розкритикували компанію за те, що вона не виявила проблему та не повідомила про неї раніше.

«Місто Філадельфія дуже серйозно ставиться до цього інциденту», — зазначили в поліції.

Там наголосили, що компанія повинна посилити захисні механізми, аби подібні випадки не впливали на роботу міських систем без відома відповідних служб. Двомісячну затримку з виявленням і повідомленням про інцидент правоохоронці назвали неприйнятною.