Цей епізод підкреслює зростаюче занепокоєння серед військових чиновників та зовнішніх експертів: оскільки особи, які приймають рішення, все більше покладаються на штучний інтелект, помилки, які створюють ці системи, можуть поширюватися по ланцюжку командування, перш ніж їх буде поставлено під сумнів.
У звіті розвідки, який поширювався під час війни з Іраном, йшлося про те, що судно перевозило компоненти для програми ядерної зброї.
Хибна інформація виникла завдяки аналітику Командування спеціальних операцій, який звернувся до чат-бота зі штучним інтелектом, щоб той синтезував дані з відкритих джерел із секретними даними радіорозвідки. Чат-бот неправильно ідентифікував вантажний маніфест судна. Потім аналітик використав інструмент вдруге, щоб відформатувати помилкові висновки в офіційно виглядаючу викладку, яку було розповсюджено по каналах командування.
Ця майже невдача сталася на тлі того, що американські військові поспішають інтегрувати штучний інтелект, щоб пришвидшити прийняття рішень та зберегти свою перевагу над Китаєм. Пентагон описав ШІ як такий, що забезпечує значну перевагу у пришвидшенні ланцюжка вбивств , щоб командири могли реагувати вчасно. Але та сама швидкість, яка робить ШІ привабливим, може також допускати галюцинації за недостатнього людського контролю.
«Важливо, щоб військовослужбовці розуміли невизначеність, властиву програмі магістратури з ліцензування (LLM), — сказав Джейк Стеклер, науковий співробітник GovAI та ветеран армії США, у письмовій відповіді TechCrunch. — Але це особливо важливо для будь-яких рішень, які можуть призвести до застосування сили, таких як цільові дії, аналіз розвідувальних даних або оперативне планування. Ці рішення мають життєво важливі наслідки».
Тим не менш, за словами Стеклера, цей інцидент має слугувати закликом додати більше запобіжних заходів до ШІ, а не приводом уникати його. «Ці інструменти можуть бути корисними у правильних контекстах і за наявності правильних запобіжних заходів», – сказав він. «Але пріоритет швидкості впровадження понад усе інше, ймовірно, призведе до інцидентів, які лише змусять військовослужбовців втратити довіру до цих систем, що зрештою лише уповільнить впровадження».