Штучний інтелект може написати переконливу відповідь, назвати неіснуюче дослідження, вигадати цитату або переплутати дату — і при цьому звучати так, ніби абсолютно впевнений у своїх словах. Це не випадковий «збій» і не спроба обдурити людину. Причина набагато цікавіша: мовна модель принципово працює не так, як людина, яка шукає факт у пам’яті.
Такі помилки називають AI-галюцинаціями. NIST визначає їх як випадки, коли генеративний ШІ впевнено створює помилкову або вигадану інформацію.
ШІ не шукає відповідь у голові — він прогнозує текст
Одна з головних причин галюцинацій закладена в самому принципі роботи великих мовних моделей.
Під час навчання модель аналізує величезні масиви тексту й навчається прогнозувати, який токен найімовірніше має з’явитися далі. Тобто її базове завдання — не «знайти правду», а побудувати найбільш імовірне продовження тексту.
Наприклад, якщо модель бачить фразу «Столиця Франції —», найімовірнішим продовженням буде «Париж». Але якщо запит стосується маловідомої людини, точної дати або рідкісної події, у моделі може просто не бути достатньо надійної закономірності.
Тоді вона все одно намагається продовжити відповідь.
Саме тут і виникає проблема.
OpenAI у дослідженні 2025 року пояснює, що рідкісні та довільні факти складніше відтворювати лише на основі статистичних закономірностей. Орфографію модель може вивчити як закономірність, а ось випадкову дату народження людини передбачити набагато складніше.
Найнебезпечніше — вигаданий факт може звучати правдоподібно
Людина часто уявляє галюцинацію ШІ як очевидну нісенітницю.
На практиці все навпаки.
Модель може створити назву книги, якої ніколи не існувало, додати до неї реалістичного автора, рік видання та навіть короткий опис. Окремо кожен елемент може звучати правдоподібно.
Так само ШІ здатен вигадати наукову статтю або посилання, які виглядають справжніми, але не існують.
OpenAI прямо зазначає, що моделі можуть генерувати неправильні дати, визначення, цитати, дослідження та посилання на неіснуючі джерела.
Проблема в тому, що для мовної моделі «звучить переконливо» і «є правдою» — це не одне й те саме.
Чому ШІ не просто каже: «Я не знаю»?
Це, мабуть, найцікавіша частина проблеми.
Здавалося б, якщо модель не впевнена у відповіді, вона могла б просто відмовитися відповідати.
Але традиційні способи оцінювання AI-моделей можуть створювати протилежний стимул: правильна відповідь приносить бал, а відповідь «не знаю» — ні.
Уявімо тест із чотирма варіантами відповіді. Якщо ви нічого не знаєте, у вас все одно є шанс вгадати. Якщо ж залишити питання порожнім, шанс отримати бал дорівнює нулю.
За аналогічним принципом мовна модель може «ризикнути» і сформувати відповідь замість того, щоб визнати невизначеність.
OpenAI у своєму дослідженні називає саме заохочення вгадування однією з причин, чому галюцинації зберігаються навіть у сучасних моделях.
Чим більше деталей, тим вищий ризик помилки
Особливо небезпечними можуть бути відкриті запити, які вимагають довгої та детальної відповіді.
Наприклад:
«Напиши біографію маловідомого науковця».
Якщо в моделі недостатньо достовірної інформації, вона може заповнити прогалини деталями, які статистично добре вписуються в контекст.
Це схоже на ситуацію, коли людина пам’ятає загальну історію, але не пам’ятає конкретної дати й мимоволі підставляє приблизну.
Тільки ШІ робить це значно переконливіше.
NIST окремо зазначає, що такі помилки особливо актуальні для відкритих запитів і завдань, які вимагають довгих відповідей.
Чому пошук в інтернеті не вирішує проблему повністю
Підключення ШІ до пошуковика або бази даних значно покращує точність, але не перетворює модель на безпомилковий механізм.
Google DeepMind, наприклад, розробила FACTS Grounding — систему оцінювання того, наскільки відповіді великих мовних моделей відповідають наданим джерелам. Дослідники наголошують, що навіть за наявності джерел фактичність відповідей залишається окремою проблемою.
Тобто модель може мати правильний документ перед очима, але неправильно його інтерпретувати, змішати кілька фактів або додати інформацію, якої в джерелі немає.
Саме тому принцип «ШІ показав джерело — значить, усе правильно» теж небезпечний.
Чи можна повністю позбутися галюцинацій?
Поки що — ні.
Але їх можна суттєво зменшувати.
Один із найважливіших напрямів — змусити модель не вгадувати, коли доказів недостатньо. Інший — давати їй доступ до перевірених джерел, пошуку, баз даних та інструментів, які дозволяють перевірити твердження.
Ще один підхід — спеціально оцінювати не лише правильні відповіді, а й те, наскільки добре модель розпізнає власну невизначеність.
OpenAI зазначає, що сучасні моделі мають нижчі показники галюцинацій, однак проблема залишається фундаментальною для великих мовних моделей.
Чи означає це, що ШІ не можна довіряти?
Не зовсім.
Проблема не в тому, що ШІ «нічого не знає». Навпаки, сучасні моделі можуть надзвичайно добре працювати з величезними обсягами інформації.
Проблема виникає на межі між знанням і невизначеністю.
Для творчого тексту вигаданий факт може бути просто недоліком. Для новин, медицини, фінансів, науки або юридичних документів — уже серйозним ризиком.
Тому найнадійніший підхід — сприймати ШІ не як остаточне джерело істини, а як інструмент, який потрібно контролювати.
Особливо якщо відповідь містить конкретні цифри, імена, дати, цитати або посилання.
Чому це важливо
Штучний інтелект може бути надзвичайно переконливим навіть тоді, коли помиляється.
І саме це відрізняє його галюцинації від звичайної помилки в пошуковій системі: ШІ не просто може показати неправильну сторінку. Він здатен сам створити правдоподібну історію навколо вигаданого факту.
Тому головне правило роботи з генеративним ШІ просте: чим важливіший факт, тим менше варто покладатися лише на впевненість відповіді.
Цікаво, що одним із ключових способів зробити ШІ надійнішим може бути не навчити його знати ще більше, а навчити його частіше казати: «Я не знаю». Саме здатність правильно розпізнавати власну невизначеність може бути не менш важливою за додаткові мільярди параметрів.
Повідомляє NNews із посиланням на OpenAI, NIST та Google DeepMind.
