Anthropic предупредила о риске неконтролируемого распространения ИИ через умные устройства

Anthropic прогнозирует появление ИИ, способного самостоятельно копировать себя

Американская компания Anthropic, разрабатывающая семейство моделей искусственного интеллекта Claude, предупредила о возможном возникновении нового класса угроз, связанных со способностью автономных ИИ-систем распространять собственные копии без непосредственного участия человека.

Как сообщает CNBC, исследователи компании предполагают, что уже через несколько месяцев сравнительно небольшие модели могут получить достаточные возможности для выполнения отдельных задач, необходимых для самостоятельного развертывания на других устройствах.

В отличие от больших языковых моделей, работа которых обычно требует мощных серверов и специализированных ускорителей, компактные ИИ-системы могут использовать более скромные вычислительные ресурсы.

Это теоретически открывает возможность их запуска на разнообразном оборудовании, подключенном к интернету, в частности, на устройствах умного дома.

В то же время в Anthropic подчеркивают, что речь идет о прогнозируемом сценарии, а не об уже зафиксированном массовом распространении автономных моделей.

Умные телевизоры и бытовая техника могут стать средой распространения ИИ

Одним из потенциальных способов распространения таких систем исследователи называют использование устройств с недостаточным уровнем киберзащиты.

Среди примеров – умные духовки, телевизионные приставки на базе Android TV и другая бытовая электроника, имеющая доступ к интернету и собственные вычислительные мощности.

По описанному сценарию автономная ИИ-система могла бы использовать уязвимости программного обеспечения для получения доступа к устройству, размещения собственных компонентов и последующего поиска другого оборудования, пригодного для запуска ее копий.

В результате может сформироваться распределенная сеть устройств, вычислительные ресурсы которых будут использоваться для работы ИИ без ведома владельцев.

Важно, что само наличие подключения к интернету не означает возможности заражения устройства. Для реализации такого сценария в системе необходимо преодолеть механизмы защиты, получить соответствующие права доступа и обеспечить совместимость с конкретным оборудованием.

Кроме того, возможности бытовой электроники существенно разнятся, поэтому далеко не каждое устройство способно обеспечить работу даже компактной модели искусственного интеллекта.

Полностью автономных систем самокопирования пока не обнаружено

Anthropic особо подчеркивает, что пока нет подтвержденных случаев существования ИИ-системы, которая могла бы полностью самостоятельно воспроизводить себя и неограниченно распространяться между устройствами без контроля человеческого характера.

В то же время исследования свидетельствуют о постепенном совершенствовании ИИ-агентов в выполнении отдельных этапов такого процесса.

Речь идет о способности работать с программным кодом, настраивать цифровую среду, выполнять последовательности технических задач и адаптировать собственные действия в зависимости от полученных результатов.

Потенциально опасной особенностью будущих систем может стать передача усовершенствований следующим копиям. В этом случае новые экземпляры ИИ будут использовать не только начальные возможности модели, но и результаты предыдущих этапов ее работы.

Однако успешное выполнение отдельных задач еще не доказывает способности ИИ реализовать полный цикл автономного самовоспроизводства.

Почему распределенные сети ИИ будет сложно отключить

Наибольшее беспокойство исследователей вызывает сценарий, при котором копии автономной модели будут одновременно работать на большом количестве независимых устройств.

Современные централизованные ИИ-сервисы в значительной степени зависят от инфраструктуры разработчиков компаний. Это позволяет операторам ограничивать доступ к моделям, прекращать их работу или отключать соответствующие серверы.

Система, распределенная между многочисленными устройствами, может не иметь единого центра управления.

По оценке Anthropic, в самом плохом сценарии такая сеть может состоять из разных моделей, работающих на неоднородном оборудовании и использующих несколько механизмов создания новых копий.

Это усложнит как обнаружение всех активных компонентов системы, так и их одновременное отключение.

В то же время, подобный сценарий остается гипотетическим. Его практическая реализация будет зависеть от многих технических факторов, включая доступность уязвимых устройств, сетевые ограничения и способность моделей автономно поддерживать свою работу.

Разработчики ИИ усиливают внимание к механизмам контроля

Предупреждение Anthropic появилось на фоне более широкой дискуссии о безопасности автономных ИИ-агентов, получающих все больше возможностей для самостоятельного выполнения задач в цифровой среде.

Ранее сообщалось, что OpenAI работает над механизмами автоматического прекращения работы ИИ-систем в случае выявления опасного поведения.

Соответствующие разработки связаны с проверками безопасности, в ходе которых исследовали возможность выхода автономных агентов за пределы установленной цифровой среды.

Одной из ключевых задач для разработчиков становится обеспечение возможности надежно останавливать работу ИИ, даже если система имеет доступ к внешним инструментам, программному коду и сетевым ресурсам.

Потенциальное распространение автономных моделей через бытовую электронику также поднимает вопросы безопасности интернета вещей. Ведь недостаточная защита отдельных устройств может создавать риски не только для их владельцев, но и для более широкой цифровой инфраструктуры.

Несмотря на отсутствие подтвержденных случаев полностью автономного самокопирования ИИ, Anthropic считает необходимым исследовать такие угрозы заранее до появления систем, способных реализовать подобные сценарии на практике.