Слишком любопытный помощник. Как ИИ узнает о вашей жизни, даже если вы им никогда не пользовались

Откуда ИИ берет досье

Персональному ИИ-помощнику так или иначе нужен доступ к вашей жизни. Электронная почта пользователя помогает системе разбирать счета, календарь — планировать встречи, подключенные сервисы — совершать покупки и так далее.

Компания Meta, которой принадлежат Facebook и Instagram, построила своего агента Muse именно на таких возможностях: пользователь получает отдельный облачный компьютер, на котором ИИ-помощник работает с его данными и выполняет поручения. Чем больше подключений, тем больше задач можно ему делегировать. Пользователи могут подключить Muse, например, к банковским счетам, сообщениям или медицинским данным.

Внутренние инструкции предусматривают создание страниц, посвященных родственникам, партнерам, друзьям и коллегам пользователя, пишет издание Wired. Там могут храниться важные даты, информация о совместных событиях, характере отношений и советы по их укреплению.

Другому человеку даже не нужно регистрироваться в Muse. Сведения о нем могут поступать от пользователя агента, из бесед с помощником или из подключенных источников.

Техническое устройство системы продемонстрировал исследователь Питер Джеймс, получивший копию файловой системы своего Muse. Память агента состоит из текстовых файлов, содержащих краткие сведения о пользователе, ежедневные записи, информацию об обстоятельствах, опыте и предпочтениях. Фоновый процесс ежечасно проверяет новые утверждения на основе исходящих сообщений и добавляет ссылки на подтверждающие данные. Другие процессы отвечают за ведение записей об отношениях.

Агент может возвращаться к собранной информации спустя недели после разговора. Согласно анализу Джеймса, информация попадает в поисковую базу, где фиксируются источник, степень уверенности и статус утверждения. Новые записи могут заменять старые, и для такого запоминания не требуется каждый раз переобучать саму модель, поскольку меняются файлы, которые она считывает перед формированием ответа.

Чем опасна память ИИ

«Мы предоставляем системам ИИ гораздо больше информации о себе, чем получаем от них», — заявила изданию WIRED Карисса Велиз, доцент Института этики ИИ Оксфордского университета.

Meta подтверждает, что Muse учитывает как сведения, сообщенные напрямую, так и выявленные закономерности поведения и данные из подключенных сервисов. Пользователь может редактировать память системы. Однако описанные компанией инструменты контроля доступны именно ему, а человек, о котором он рассказывает, не получает доступа к этим настройкам. Он может даже не знать, что его слова уже стали материалом для персонализации чужого помощника.

К этому добавляется риск кражи данных. В сентябре специалист по безопасности macOS Патрик Уордл обнаружил уязвимость в приложении Muse: локальная программа могла изменить адрес сервера распознавания речи и перехватить токен доступа к учетной записи агента. Компания Meta сообщила об устранении проблемы после публикации материала на сайте Ars Technica.

«Мы можем манипулировать агентом и использовать его привилегии, чтобы делать всё, что захотим», — пояснил Уордл изданию.

Существуют также атаки, использующие материалы, которые считывает помощник. В документации для разработчиков Apple описывает косвенное внедрение инструкций: сторонний текст может побудить модель к нежелательному действию. Если агент одновременно имеет доступ к конфиденциальным данным и возможность публиковать сообщения, злоумышленник может попытаться заставить его раскрыть прочитанную информацию. В числе возможных последствий Apple также называет финансовые потери и удаление данных.

В целях безопасности Meta использует отдельную систему Sentinel, которая проверяет действия и сетевые запросы Muse. Компания также заявляет, что разговоры и данные виртуальной машины не передаются рекламным системам Meta. Таким образом, наличие личных записей само по себе не доказывает факт продажи досье рекламодателям.

В то же время в сентябрьском описании архитектуры Meta признавала, что изоляция пользователей не лишает саму компанию возможности доступа для поддержки, защиты и обеспечения работы сервиса.

Что предлагает Apple

Среди техногигантов тревогу уже забила Apple: по ее мнению, доступ приложений к коммуникациям может нарушать конфиденциальность людей, с которыми общается владелец iPhone или другого устройства.

2 октября Apple объявила об изменениях в Full Disk Access — разрешении на полный доступ к диску в macOS. Оно необходимо, в частности, программам для резервного копирования и во многом обходит стандартные ограничения конфиденциальности. По заявлению компании, некоторые разработчики используют эту функцию таким образом, что приложение получает доступ к файлам, электронной почте, сообщениям и истории браузера, при этом пользователь не до конца осознает возможные последствия.

«По мере того как ИИ-агенты будут становиться всё более способными и автономными, риски, связанные с таким уровнем доступа, будут существенно возрастать», — заявила Apple в обращении к разработчикам.

Компания обещает дополнительные механизмы контроля: предоставить такое разрешение можно будет только посредством четко выраженного действия пользователя. Впрочем, называть это готовой системой полной изоляции ИИ было бы преждевременно. В анонсе не было ни даты запуска, ни технических подробностей.

Ранее на ежегодной конференции WWDC26 компания Apple разъясняла разработчикам, как удалять персональные данные перед их передачей модели, проверять вызовы инструментов до выполнения действий, а также требовать подтверждения рискованных операций и разблокировки устройства. Например, программная проверка может остановить перевод средств, даже если модель уже приняла решение его выполнить. Таким образом, ограничения закладываются в работу приложения и не зависят исключительно от того, последует ли ИИ инструкциям.

Однако ни одна из этих мер автоматически не запрещает ИИ-помощнику запоминать то, чем с ним поделились сознательно. Поэтому, даже если вы не доверяете ИИ свои секреты, кто-то из ваших собеседников вполне может сделать это за вас.