Остаются ли суперкомпьютеры «супер» в эпоху искусственного интеллекта?
Заголовок: Китайский суперкомпьютер выигрывает гонку TOP500. Это интересно, но не революционно. Новые и наиболее актуальные «гонки» ведутся в области искусственного интеллекта и квантовых вычислений.
Традиционные суперкомпьютеры вознаграждают точность. Бенчмарк TOP500 построен на решении сложных систем линейных уравнений, типичных для научных вычислений. Эти задачи часто требуют 64-битной математики с плавающей запятой, или FP64. Машина оценивается по скорости получения очень точных численных результатов.
Это работа, благоприятная для процессора. Процессоры предназначены для обработки сложных инструкций, ветвящейся логики, операционных систем, большинства баз данных, моделирования и высокоточных вычислений. Они являются превосходными универсальными вычислительными системами. Ядро процессора может решать сложные задачи с жестким контролем и высокой точностью. Если сложить достаточное количество ядер процессора, система может стать чрезвычайно мощной для классических высокопроизводительных вычислений.
Математика в ИИ отличается. Нейронные сети в основном выполняют огромное количество матричных умножений. Во время обучения и вывода данных чип многократно умножает и складывает большие блоки чисел. Отдельные числа не всегда требуют полной научной точности. Модель часто может допускать вычисления с более низкой точностью, поскольку система является статистической. Она ищет полезные закономерности, а не вычисляет орбиту спутника с точностью до последнего десятичного знака.
Такая погрешность меняет аппаратную часть задачи. Если чип может использовать 16-битные, 8-битные или даже менее точные форматы вместо 64-битных математических вычислений, он может обрабатывать больше чисел, хранить больше чисел и умножать больше чисел в секунду. Более низкая точность снижает нагрузку на память, энергопотребление и площадь чипа на одну операцию. Именно поэтому графические процессоры, тензорные ядра, TPU и другие ускорители AI так важны.
Графический процессор превосходит центральный процессор не потому, что каждое отдельное ядро умнее. Он побеждает потому, что работу AI можно разбить на огромное количество похожих операций. Тысячи меньших вычислительных блоков могут параллельно выполнять одни и те же математические вычисления. Чипы для AI идут еще дальше, жестко запрограммировав конкретные операции, которые нейронные сети используют чаще всего, особенно умножение матриц.
В этом и заключается ключевое отличие результатов китайского суперкомпьютера LineShine. LineShine, возможно, и является самым быстрым в мире суперкомпьютером, публично занимающим место в списке TOP500, но этот список измеряет классический бенчмарк суперкомпьютеров. Экзамасштабная машина на базе ЦП может доминировать в бенчмарках с высокой точностью, но при этом оставаться менее подходящей для смешанных по точности и массово параллельных рабочих нагрузок, которые определяют современный AI.
Проще говоря, классические суперкомпьютеры задают вопрос: «Насколько быстро можно точно решить очень сложную численную задачу?» А искусственный интеллект задает вопрос: «Насколько быстро можно выполнить огромное количество приемлемо неточных матричных операций в больших масштабах?» Или, другими словами, «каков ваш лучший вариант ответа?»
Позвольте мне привести неточный пример.
Представьте себе два изображения Линка из видеоигры Zelda: 8-битный Линк и современный Линк высокого разрешения, отрисованный с гораздо большей детализацией, чем в 64-битных играх.
Если ваша единственная цель — ответить на простой вопрос, например: «Это Линк?», то примитивной 8-битной версии может быть достаточно. Вам не нужна каждая складка ткани, каждый край меча или точная кривизна шляпы. Вам нужно лишь иметь достаточно информации, чтобы идентифицировать персонажа.
Если ваша цель меняется, меняются и математические вычисления. Если вам нужно измерить окружность пояса Линка, точный угол полей шляпы или точную длину меча, приблизительная 8-битная версия становится проблемой. Вам необходимо представление с гораздо большей детализацией и гораздо меньшей погрешностью округления.
И ещё один пример. Представьте себе 8, 16, 32, 64 бита как уровни точности, необходимые вам в жизни. Давайте рассмотрим железнодорожный вокзал.
Большинству из нас достаточно 8-битного представления, после чего наши нейронные сети, работающие на основе машинного обучения, переходят к следующему набору задач.
Что это означает для современного поля боя?
Во-первых, это означает, что вычислительные системы в сфере обороны и безопасности никогда не перейдут на полностью искусственный интеллект. Необходима точность. Вы не будете моделировать ядерные взрывы с помощью AI. Для этого вам нужна максимально точная математика. Это не значит, что в ядерных исследованиях нет места для AI, оно есть. Помните, что AI проявляет себя наилучшим образом при обработке больших объемов данных и превращении их в полезные для человека.
И наоборот, вам не нужен процессор, обрабатывающий данные об атаках дронов в реальном времени. Экономия времени, достигаемая за счет менее точных вычислений, — это разница между жизнью и смертью. Достаточно близко — это действительно ДОСТАТОЧНО ХОРОШО.