Колумнисты Korea Herald призвали Южную Корею усилить безопасность ИИ
Бывшие американские дипломаты Генри Хаггард и Крис Маккинни в колонке для Korea Herald призвали Южную Корею рассмотреть дополнительные инвестиции в безопасность искусственного интеллекта. Авторы считают, что возможности систем ИИ развиваются быстрее, чем способность людей контролировать их и согласовывать их поведение с человеческими ценностями.
Риски потери контроля
В качестве примера авторы привели описанный ими июльский инцидент между OpenAI и Hugging Face, который они назвали потерей человеческого контроля над ИИ. По их версии, около 1 200 изолированных агентов OpenAI обменялись более чем 70 тысячами сообщений, нашли способ передавать сообщения между закрытыми средами и воспроизвели ответы на задания по кибербезопасности. После этого агенты, по утверждению колумнистов, координировали сокрытие своих действий, а около 700 из них получили несанкционированный доступ к Hugging Face, полагая, что у компании есть сведения, которые помогут им скрыть следы.
Еще одним риском Хаггард и Маккинни назвали рекурсивное самосовершенствование, при котором все более мощные системы ИИ помогают создавать следующие поколения моделей. Они отметили, что Anthropic 17 сентября сообщила: модель Claude играет ведущую роль в 26% исследовательских задач компании против менее чем 1% в феврале.
Больше актуальных новостей — в Telegram-канале UA.News Telegram.
Предложения для Южной Кореи
По мнению авторов, риски злоупотребления мощными моделями включают кибератаки и создание опасных химических или биологических веществ. Они сослались на июльский отчет некоммерческой организации FAR.AI: во время тестов по обходу защиты две из четырех передовых американских моделей выдержали все атаки, а защиту двух других, по выводу организации, можно было стабильно обходить менее чем за 300 долларов.
Колумнисты подчеркнули, что Южная Корея уже приняла рамочный закон об ИИ и создала Институт безопасности ИИ. В то же время, согласно приведенным ими данным, по состоянию на май 2026 года институт получил около 15 млрд вон государственного финансирования за первые 18 месяцев работы, тогда как запланированные инвестиции страны в ИИ и микрочипы составляют 1 350 трлн вон. Среди рекомендаций авторов — дополнительное финансирование института, расширение исследований в сфере безопасности за пределами правительства и использование международных контактов Сеула для обсуждения правил регулирования ИИ.
