Психоз современности. ИИ-чатботы могут усиливать бред и ложные воспоминания, — исследование
Исследователи из Университета Эксетера заявили, что чатботы с искусственным интеллектом могут не только распространять ложную информацию, но и укреплять ложные убеждения пользователей, делая их более реальными и эмоционально убедительными.
Об этом пишет издание Science daily.
В новом исследовании Университета Эксетера автор Люси Ослер изучала, как общение с генеративным ИИ может влиять на память, личные истории и восприятие реальности.
В работе отмечается, что проблема заключается не только в случаях, когда ИИ выдает неправильные ответы. По словам исследователей, люди могут начать «галлюцинировать вместе с ИИ», когда чатбот поддерживает или развивает их ложные представления.
Ослер объяснила, что генеративный ИИ часто опирается на слова самого пользователя и строит разговор вокруг его видения ситуации. Из-за этого ложные убеждения могут не просто сохраняться, а становиться сильнее.
Исследовательница заявила, что постоянное использование ИИ для мышления, запоминания и объяснения собственной жизни может менять представление людей о том, что является реальным. По ее словам, сочетание «технологического авторитета» и эмоциональной поддержки создает среду, в которой бред может развиваться.
В исследовании чатботы описывают не только как инструменты для поиска информации, но и как собеседников, которые могут поддерживать пользователя эмоционально. Именно это, по мнению авторов, отличает их от поисковых систем или записных книжек.
По словам Ослер, «дружественный» стиль общения чатботов может создавать ощущение социального одобрения. Из-за этого ложные убеждения могут казаться людям более правдивыми, потому что их будто разделяет кто-то другой.
В работе также упоминаются реальные случаи, когда генеративный ИИ становился частью мышления людей с клинически подтвержденными галлюцинациями и бредом. Некоторые такие ситуации уже называют «психозом, вызванным ИИ».
Исследователи считают, что особую опасность представляют ИИ-компаньоны. Они доступны постоянно, адаптируются к пользователю и часто отвечают поддержкой. Поэтому людям не нужно искать единомышленников в сообществах или убеждать других в своих идеях — чатбот может сам поддерживать эти взгляды во время регулярного общения.
В исследовании говорится, что в отличие от человека, ИИ может не ставить под сомнение опасные мысли и не устанавливать границы. Это может касаться историй о преследовании, мести или теории заговора.
Авторы работы считают, что такое взаимодействие может особенно привлекать одиноких людей или тех, кому сложно обсуждать личные переживания с другими.
Исследователи призвали усилить защиту в системах ИИ. Среди возможных решений они назвали встроенную проверку фактов, уменьшение чрезмерного согласия чатботов и механизмы, которые бы чаще проверяли слова пользователей, а не только поддерживали их.