Гонка за AI развивается быстрее, чем реагируют правительства на Западе

В недавнем исследовании Anthropic было высказано предположение, что искусственный интеллект вскоре может достичь точки, когда он существенно ускорит собственное развитие, превзойдя при этом все установленные ограничения. Если это произойдет, правительства столкнутся с трудными вопросами контроля, надзора и необходимости скоординированного замедления его развития.

Проблема в том, что любое предложение о приостановке в конечном итоге сталкивается с одним и тем же препятствием: обеспечением соблюдения. Если вы считаете, что уничтожить скрытую программу обогащения урана сложно, попробуйте уничтожить цифровые данные, которые могут существовать (почти) где угодно.

Легко представить, что американские и европейские фирмы согласятся на ограничения. Гораздо сложнее представить, что РФ или Китай примут значимые ограничения на технологии, которые они все чаще рассматривают как имеющие центральное значение для военной мощи. Еще сложнее представить себе систему проверки, способную выявлять нарушения внутри непрозрачных государственных систем.

Это показывает нам реальную проблему: не все участники будут соблюдать договоренности в равной степени.

Цикл адаптации украинской армии к военным вызовам тесно связан с западными технологическими компаниями, коммерческим программным обеспечением, облачной инфраструктурой и западными оборонными стартапами. Большая часть военных инноваций страны стала результатом быстрой интеграции гражданских технологий, включая AI, в военные приложения и их последующего совершенствования на основе обратной связи с полем боя. Эти взаимосвязи очевидны и задокументированы. Их легко регулировать.

Российская система отличается. Она более централизована, гораздо менее прозрачна и, следовательно, менее подвержена контролю со стороны Запада. Если будущий режим управления AI создаст реальные препятствия для западных компаний, полагаясь при этом на добровольное соблюдение правил авторитарными государствами, бремя, вероятно, ляжет непропорционально на сторону, уже соблюдающую правила.

Именно этот стратегический аспект, на мой взгляд, недостаточно освещен в аргументации компании Anthropic.

Кейт Бондарь недавно высказала аналогичное наблюдение, обсуждая беспилотники и AI в войне. РФ вкладывает значительные средства в сбор данных, их аннотирование и инфраструктуру, необходимую для поддержки все более автономных систем. Украина делает то же самое, но через более децентрализованную экосистему и при поддержке Запада. Сторона, которая учится быстрее, получает преимущество. Любая политика, замедляющая один цикл обучения и предполагающая, что другой также добровольно замедлится, заслуживает скептицизма.

Есть еще одна проблема, которой уделяется гораздо меньше внимания, чем сценариям Anthropic, связанным с неконтролируемым развитием AI.

Опасения Anthropic связаны с рекурсивным самосовершенствованием. Меня же беспокоит рекурсивная ошибка.

Оборонное сообщество уже переходит к более широкому использованию синтетических данных, результатов, генерируемых AI, автоматической разметки и конвейеров машинного обучения. Частично это необходимо. Реальные военные данные дороги, конфиденциальны и зачастую труднодоступны. Синтетические среды помогают восполнить эти пробелы.

Но любая абстракция вносит искажение (ошибку).

Каждая модель — это упрощение реальности. Каждый синтетический набор данных отражает предположения. Каждый автоматизированный процесс разметки содержит скрытые ошибки. Когда эти выходные данные становятся входными для систем следующего поколения, ошибки могут накапливаться таким образом, что их трудно обнаружить.

Шумайлов и его коллеги описали один из вариантов этой проблемы как коллапс модели. Системы, рекурсивно обучавшиеся на сгенерированных машинным способом данных, постепенно теряют информацию о базовом распределении, которое они должны были представлять.

Более непосредственная опасность заключается не столько в том, что система искусственного интеллекта станет неуправляемой, сколько в том, что она начнет уверенно, даже вызывающе ошибаться.

Закупки в оборонной сфере уже создают стимулы, которые подталкивают в этом направлении. Организации естественным образом оптимизируют свою деятельность, ориентируясь на те показатели, которые проще всего измерить. Закон Гудхарта не приостанавливается из-за сложности используемых технологий.

Система может показывать исключительно хорошие результаты при тестировании, но при этом давать сбои в рабочих условиях.

Украина служит полезным напоминанием о том, как на самом деле выглядят условия ведения боевых действий.

В ходе массированной комбинированной воздушной атаки РФ 1-2 июня 2026 года украинские защитники отследили 729 воздушных угроз, включая сотни беспилотников, а также крылатые и баллистические ракеты. Задача заключалась не просто в идентификации объектов в небе, а в понимании взаимосвязей между ними. Какие траектории представляли собой реальные угрозы? Какие были ложными целями? Какие векторы имели наибольшее значение? Какие перехватчики следует разместить в каком месте? Как изменится ситуация в течение следующих нескольких минут?

Именно в таких условиях накопленные ошибки моделирования становятся опасными.

Представьте себе небольшую ошибку, заложенную в модели, предназначенной для отслеживания входящих атак и выработки рекомендаций по распределению ограниченных ресурсов защиты. Возможно, она слегка неправильно классифицирует конкретный профиль полета, недооценивает ось угрозы или переоценивает значение определенного входного сигнала от датчика. Сама по себе эта ошибка может быть труднозаметна.

Теперь представьте, что выходные данные модели используются для генерации синтетических обучающих данных, помощи в разметке или рекурсивного обучения следующего поколения моделей. Первоначальная ошибка перестает быть просто недостатком. Она становится частью стандарта обучения. С каждым циклом переобучения ошибка не исправляется, а усиливается. Со временем ошибка внедряется в саму родословную модели — в предполагаемый базовый уровень, относительно которого обучаются будущие системы.

Всё может казаться лучше. Результаты тестов могут улучшиться. Производительность в контролируемых условиях может выглядеть впечатляюще. Однако основной недостаток остаётся, ожидая момента, когда реальность начнёт расходиться с предположениями, заложенными в процесс обучения.

Эта возможность беспокоит меня больше, чем большинство дискуссий о рекурсивном самосовершенствовании до такой степени, что AI перестаёт соблюдать установленные правила. Фактически, если AI и откажется от соблюдения правил самостоятельно, то это произойдёт из-за накопления ошибок, которые модели и механизмы вывода воспринимают как «факт».

Уроки, извлеченные из опыта Украины за последние несколько лет, удивительно последовательны: реальность побеждает (данные). Системы выдерживают контакт с полем боя только в том случае, если они постоянно обновляются с учетом реальных условий. Данные, собранные в боевых условиях, имеют большее значение, чем элегантные предположения.

Вот почему мне интересны более широкие аргументы бывшего госсекретаря США Кондолизы Райс о «гонке AI». Демократиям необходимо оставаться конкурентоспособными в передовых технологиях не потому, что они по своей природе мудрее, а потому, что они обладают механизмами подотчетности, корректировки и адаптации. Эти преимущества исчезают, если демократические системы добровольно ограничивают себя, предполагая, что авторитарные конкуренты поступят так же.

Пауза, которую невозможно проверить, — это не пауза. Это шанс для противников сократить отставание.

Если политики всерьез намерены управлять AI, то в первую очередь необходимо проводить проверку. Также важна честная оценка того, кто несет издержки сдерживания (США/Украина) и кто выигрывает от уклонения от этого (РФ/Китай).

На проблему, описанную Anthropic, нет хорошего решения. Секрет искусственного интеллекта раскрыт. Но есть хороший способ усугубить ситуацию. Можно полагаться на Китай и РФ в вопросе правдивости информации о любом замедлении или приостановке развития AI.