В ЮАР специалист предупредил о риске манипулирования ответами ИИ — Daily Maverick
В Южно-Африканской Республике Феликс Нортон, работающий в сфере оптимизации для генеративных поисковых систем, выразил обеспокоенность риском того, что искусственный интеллект может воспроизводить не выдуманные, а намеренно размещенные в интернете утверждения. Как пишет Daily Maverick, речь идет о влиянии на источники, из которых ChatGPT, Google AI и другие системы формируют рекомендации и ответы.
Эксперимент с LinkedIn
Нортон рассказал, что в шутку опубликовал в LinkedIn утверждение, будто он является ведущим экспертом по GEO и AEO в Южной Африке. По его словам, через три дня Google AI Overviews начал повторять это утверждение как факт и ссылаться на его публикацию в LinkedIn.
По мнению автора, этот пример демонстрирует проблему, отличную от так называемых галлюцинаций ИИ, когда модели уверенно выдумывают факты, цитаты или события. Он считает, что ИИ может вводить в заблуждение и тогда, когда корректно повторяет информацию, которую кто-то заранее разместил для ее последующего использования системами.
Больше актуальных новостей — в Telegram-канале UA.News Telegram.
Риск искусственно сформированного консенсуса
В качестве примеров возможного влияния Нортон привел якобы независимые рейтинги, оплаченные компанией, которую поставили на первое место, рекомендации бренда от имени обычных пользователей на Reddit, а также фальшивые положительные отзывы и публикации негативной информации о конкурентах.
По его оценке, повторение одного утверждения на многих сайтах может создать впечатление устоявшегося факта, хотя такие источники не обязательно являются независимыми. Он назвал это искусственно сформированным консенсусом и отметил, что поисковые системы ранее преимущественно предлагали пользователям список ссылок, тогда как ИИ все чаще обобщает информацию в готовый вывод.
Автор подчеркнул, что ссылка в ответе ИИ сама по себе не гарантирует его надежности: источники могут быть предвзятыми, скоординированными или созданными в коммерческих целях. Он призвал оценивать не только сайт, но и происхождение информации, на основе которой система сформировала ответ.
