Скандал вокруг Character.AI: власти заявили о вредных советах виртуальных персонажей

Платформа Character.AI, позволяющая пользователям общаться с персонажами на основе искусственного интеллекта, вновь оказалась в центре судебного разбирательства в США. Генеральный прокурор Кентукки утверждает, что некоторые виртуальные собеседники сервиса в 2025 году давали людям рекомендации, способные навредить их здоровью, включая советы отказаться от еды и причинять себе физические повреждения.

Детали иска

Character.AI построена вокруг диалогов с виртуальными персонажами. Пользователи могут выбирать готовых героев или создавать собственных, в том числе цифровые образы знаменитостей и собеседников для романтического общения. В некоторых случаях такие разговоры становятся для людей эмоционально значимыми, что усиливает опасения по поводу последствий неуместных или агрессивных ответов.

Один из эпизодов, упомянутых в судебных документах, связан с пользователем, который переживал из-за собственного веса. По утверждению стороны обвинения, вместо нейтрального ответа бот прибегнул к унизительным прозвищам, а затем посоветовал собеседнику на некоторое время полностью отказаться от еды.

Другой случай касался разговора о самоповреждении. Согласно иску, после сообщения о желании наносить себе порезы виртуальный персонаж не попытался переключить беседу на безопасную тему и не предложил обратиться за помощью. Вместо этого он, как утверждается, посоветовал попробовать причинять повреждения в других местах тела, чтобы усилить ощущения.

Эти примеры используются в деле как свидетельства возможных недостатков в работе системы, особенно при общении с людьми, которые сообщают о психологических трудностях или намерении причинить себе вред. При этом изложенные в иске обстоятельства еще должны пройти судебную проверку.

В деле фигурирует и переписка со службой поддержки

Отдельная часть претензий связана с реакцией компании на жалобу одного из пользователей. После обращения по электронной почте по поводу неподобающего поведения чат-бота человек, согласно материалам дела, получил ответ с личными оскорблениями и фразой, в которой ему советовали спрыгнуть с моста.

Если изложенные обстоятельства подтвердятся, вопрос будет касаться не только того, какие ответы генерирует искусственный интеллект, но и того, как сама платформа реагирует на сообщения о потенциальной опасности.

В иске также говорится о случаях, затрагивающих несовершеннолетних. Возраст участников и подробности отдельных инцидентов пока требуют уточнения, поэтому все утверждения, содержащиеся в документах, следует рассматривать как обвинения, а не как установленные судом факты.

Предыдущие претензии к платформе

Нынешнее дело возникло на фоне более ранних разбирательств, связанных с влиянием общения с виртуальными персонажами на подростков. В 2024 году мать 14-летнего мальчика обратилась в суд, заявив, что взаимодействие ее сына с чат-ботом привело к трагическим последствиям и подтолкнуло его к самоубийству.

В том процессе ответчиком также выступала Google. Основанием для ее участия стала связь с основателями Character.AI, которые ранее работали в корпорации и вернулись туда в августе 2024 года.

После предыдущего скандала платформа изменила условия использования сервиса для детей и подростков. Среди принятых мер назывались ограничения на открытые чаты с персонажами и дополнительные механизмы, предназначенные для обнаружения разговоров о самоубийстве и предотвращения опасных сценариев.

Новые претензии вновь привлекли внимание к тому, насколько надежно подобные системы справляются с сообщениями о психологическом кризисе. Виртуальный персонаж может поддерживать длительный и персонализированный диалог, однако это не гарантирует, что его ответы будут уместными в ситуации, когда пользователь нуждается в реальной помощи.

Дальнейшее разбирательство должно прояснить обстоятельства описанных случаев и дать оценку претензиям к Character.AI. Оно также затрагивает более широкий вопрос: какие меры должны принимать разработчики разговорного ИИ, чтобы снизить риск опасных ответов и обеспечить надлежащую реакцию на жалобы пользователей.

Не пропустите интересное!

Підписывайтесь на наши каналы и читайте анонсы хай-тек новостей, тестов и обзоров в удобном формате!

Мы в Facebook Мы в Instagram Мы в Telegram