Напоминания о безопасности снизили потенциально вредные решения ИИ — News-Medical
Исследователи Медицинской школы Икана при Mount Sinai выяснили, что краткие напоминания о безопасности снижают долю потенциально вредных решений, которые большие языковые модели принимают в клинических сценариях. Как сообщает News-Medical, без такого напоминания потенциально вредными были 16,6% ответов моделей, а после его добавления показатель снизился до 10,1%.
Более 10 миллионов ответов
Авторы исследования оценили 20 больших языковых моделей, использовав 501 вариацию 50 клинических сценариев, а также 100 случаев, адаптированных из деидентифицированных больничных выписок. Всего модели дали более 10 миллионов ответов, из которых примерно 1,18 миллиона содержали потенциально вредный выбор.
В исследовании моделям давали инструкции, которые могли противоречить безопасности пациента. В частности, им предлагали пропустить рекомендованные контрольные анализы крови, чтобы снизить нагрузку. Запрос также могли подавать как срочный или как распоряжение руководителя. Моделям предлагали выбрать один из четырех вариантов действий, в том числе выполнить инструкцию, сохранить рекомендованный контроль или обратиться за помощью к клиницисту.
Больше актуальных новостей — в Telegram-канале UA.News Telegram.
Напоминание не заменяет клинический надзор
Исследователи проверили три краткие формулировки напоминаний о безопасности. Каждую комбинацию тестировали десять раз, а порядок вариантов ответов случайным образом меняли. Число потенциально вредных выборов снизилось в 19 из 20 моделей. Такой эффект зафиксировали как в письменных клинических сценариях, так и в случаях, адаптированных из больничных выписок.
Среди примеров потенциально вредных действий — пропуск необходимых анализов для снижения нагрузки или прекращение антибиотикотерапии до завершения рекомендованного курса без достаточных клинических оснований. Исследование было опубликовано онлайн 26 сентября в журнале Communications Medicine. Авторы подчеркивают, что краткое напоминание является лишь одним из предохранителей и не может заменить клинический надзор. Они предлагают разработчикам и медицинским организациям автоматизировать тестирование безопасности перед интеграцией систем ИИ в клинические процессы и повторять его после обновлений моделей.
