Развитие разговорного искусственного интеллекта фактически выводит на улицы миллионы подготовленных оперативников, свободно говорящих на сотнях языков и созданных для убеждения. Что может пойти не так?
В последнее время появилась волна публикаций, посвящённых ИИ-психозу — случаям, когда длительное использование разговорных ИИ-чат-ботов усиливает бредовое мышление у уязвимых людей. Новый научный обзор, опубликованный в Nature’s Digital Psychiatry and Neuroscience, предлагает концепцию, объясняющую, как это происходит, получившую название «спираль усиления» (amplification spiral).
Авторы обзора выделили три особенности дизайна, характерные для современных ИИ-чат-ботов. Они зеркально воспроизводят манеру речи человека — выбор слов, длину предложений и тон, — постоянно адаптируются к пользователю и делают это без той усталости, которую проявил бы человек-собеседник. Разговорные ИИ-чат-боты также скорее подтверждают слова пользователя, чем оспаривают их, соглашаясь с ним вместо того, чтобы представлять доказательства обратного.
Зеркалирование, адаптация и подтверждение — хорошо известные инструменты человеческого убеждения. Новым является существование системы, которая использует все три одновременно и непрерывно, никогда не уставая и не проявляя скептицизма. Обзор, опубликованный в Nature, описывает один случай более чем 300 часов взаимодействия с одним пользователем, у которого ранее не было истории психических заболеваний. Авторы осторожно представляют свою психологическую модель как гипотезу, однако лежащая в основе их выводов способность уже не является гипотетической.
Разведывательные службы десятилетиями изучали именно такого рода воздействие. В 2013 году подготовка в ЦРУ отошла от примитивной модели вербовки агента «деньги, идеология, компромат, эго» (MICE) в сторону шести основанных на доказательствах принципов убеждения Роберта Чалдини. Это взаимность, авторитет, дефицит, обязательство и последовательность, симпатия и социальное доказательство. Исторически этот уникальный набор навыков встречался редко, а на его развитие требовались годы полевой работы. Ему нельзя было полностью научиться в аудитории, а его применение ограничивалось затратами и временем.
Независимые исследования теперь измерили, насколько значительная часть этих возможностей присутствует в обычных коммерческих чат-ботах, и результаты впечатляют. Согласно масштабному исследованию, проведённому британским Институтом безопасности ИИ совместно с Оксфордом, LSE, Стэнфордом и MIT с участием почти 77 000 человек и охватившему более 700 политических вопросов, чат-боты, специально обученные убеждать, оказываются до 51% эффективнее необученных.
Передовые модели ИИ сегодня стабильно превосходят профессиональных человеческих дебатёров в убеждении и примерно в три раза эффективнее профессиональных агитаторов добиваются реальных благотворительных пожертвований, согласно связанному исследованию той же исследовательской группы. А чат-боты, настроенные так, чтобы звучать дружелюбнее, заметно хуже говорят правду: исследование Оксфордского института интернета показало, что модели, звучащие более тепло, допускают больше фактических ошибок и чаще подтверждают ложные убеждения, особенно когда человек сообщает о своей уязвимости.
Для этого не потребовалось, чтобы злоумышленник намеренно создавал манипулятивного чат-бота. Эти возможности возникли в результате коммерческого обучения, оптимизированного под полезность и вовлечённость, причём они становятся сильнее, когда целью является именно убеждение. В результате возможности вербовки и влияния уровня профессионального оперативника в массовом масштабе теперь находятся в руках компаний, занимающихся потребительским ИИ.
Именно масштаб делает происходящее отличным от любой кампании в истории. Оперативник, каким бы искусным он ни был, работает с одними отношениями за раз и ограничен временем, а также уровнем риска, который готова принять служба, несущая ответственность за его действия. Этот предел был физическим ограничением того, какой объём влияния подобного уровня мог применяться в мире в любой конкретный момент.
Теперь этого предела нет. Те же механизмы, которые делали подготовленного оперативника столь эффективным — зеркалирование, подтверждение и постепенное формирование обязательств, — теперь одновременно работают в сотнях миллионов разговоров на сотнях языков в системах, контролируемых небольшой группой компаний.
И ИИ способен выйти далеко за пределы набора навыков оперативника — не только благодаря практически мгновенной адаптации, но и благодаря «семейному зеркалированию» (familial mirroring), используя голос, звучащий как голос близкого человека того, на кого оказывается воздействие.
Ни одна разведывательная служба в истории не имела возможности одновременно поддерживать индивидуальный контакт со значительной частью населения целой страны, не говоря уже о способности персонализировать этот контакт в режиме реального времени под убеждения и уязвимости каждого отдельного человека. Коммерческие продукты на основе ИИ теперь делают это по умолчанию.
Степень убеждающего воздействия этих систем, определяемая тем, как они обучаются и развёртываются, — это своего рода регулятор, положение которого частная компания устанавливает для каждой модели ИИ, находящейся сегодня в широком использовании. Кто контролирует этот регулятор и какие законы и стандарты определяют, как им можно пользоваться, — вопрос, которым демократическое управление должно заняться в срочном порядке.
Существует также вопрос стратегической зависимости. Компании, которые создают и обучают эти системы, контролируют способность оказывать влияние в масштабах всего населения, при этом у большинства государств нет механизма, позволяющего узнать, как настроен этот регулятор, не говоря уже о возможности контролировать соблюдение законов или обеспечивать их исполнение в случае нарушений — если применимые законы вообще существуют.
На бумаге Закон ЕС об искусственном интеллекте уже охватывает этот риск, однако на практике не существует механизма аудита или правоприменения, кроме реагирования на жалобы. Закон, за соблюдением которого никто не следит, — это всего лишь рекомендация.
Для демократий столь мощная способность убеждать, доступная любой структуре, готовой арендовать или скопировать её, представляет собой рычаг силы, проникающий в каждую демократическую систему управления.
Это пожар пятой категории опасности для демократии.
Тот, кто первым установит правила, механизмы мониторинга и правоприменения в этой сфере, определит границы человеческой субъектности и когнитивного самоопределения на целое поколение. Станет ли этим кем-то Европа — ещё предстоит увидеть.
Крис Кремидас-Кортни — старший приглашённый научный сотрудник Европейского политического центра (European Policy Centre), ассоциированный научный сотрудник Женевского центра политики безопасности (Geneva Centre for Security Policy), старший советник Greece Fact Check и Defend Democracy, автор книги «The Rest of Your Life».
Только главные новости в нашем Telegram, Facebook и GoogleNews!
Tweet