NVIDIA представила Minerva для забезпечення наскрізної видимості AI-фабрик

Компанія NVIDIA оголосила про запуск платформи Minerva, призначеної для покращення видимості та продуктивності AI-фабрик. Рішення допомагає командам виявляти проблеми на ранніх стадіях та забезпечувати стабільну роботу цих складних інфраструктур.

AI-фабрики, які використовують велику кількість GPU та високошвидкісних мереж для навчання моделей та обслуговування AI-додатків, є одними з найскладніших операційних систем у світі. На такому масштабі навіть незначні проблеми з окремими компонентами можуть суттєво сповільнити весь процес.

Minerva об’єднує телеметрію з інфраструктури та AI-навантажень, а потім застосовує спеціалізовані AI-моделі для перетворення цих даних на своєчасні та дієві інсайти. Платформа зосереджена на показнику AI factory yield – вимірюванні корисної роботи, яку виробляє інфраструктура, через GPU-години, пропускну здатність, час роботи кластера та продуктивність обробки токенів.

Динамічне відображення AI-фабрики

Традиційні інструменти моніторингу часто розділяють центр обробки даних на окремі сегменти, де команди мережевого обладнання, обчислювальних систем, надійності майданчиків та машинного навчання бачать лише частину операції. Minerva, навпаки, пов’язує сигнали з GPU NVIDIA, мережевих пристроїв, сховищ даних, планувальників та робочих навантажень.

Використовуючи ці сигнали, Minerva будує динамічний граф знань, який логічно відображає інфраструктуру – GPU, SuperNIC, комутатори та кабелі – а також завдання, що виконуються на ній. Це дозволяє операторам відстежувати уповільнення процесу навчання до конкретного компонента, що впливає на нього, навіть у фабриці з сотнями тисяч GPU.

Платформа аналізує мільярди точок даних щогодини за допомогою керованого та некерованого машинного навчання. Вона вивчає нормальну поведінку, виявляє раніше невідомі аномалії, прогнозує майбутні збої та корелює пов’язані події на основі топології фабрики. Замість того, щоб надсилати кожний симптом оператору, Minerva може групувати велику кількість подій в один зосереджений інцидент із ймовірною першопричиною.

Minerva оснащена вбудованим AI-асистентом і може інтегруватися із зовнішніми агентними AI-інструментами. Це додає інтерфейс природною мовою, що базується на даних реального часу. Оператори можуть перевіряти стан кластера та отримувати рекомендовані дії для виправлення проблем через діалог. Команди можуть залишати людину для ручного впровадження виправлень або підключати Minerva до автоматизації через API інфраструктури та зовнішні системи.

Результати, що максимізують продуктивність AI-фабрик

Здатність корелювати проблеми робочих навантажень та інфраструктури, а також агентні AI-можливості спрощують операції AI-фабрик. Minerva агрегує пов’язані проблеми в один дієвий елемент, дозволяючи командам AIOps перейти від реактивного до проактивного обслуговування, що сприяє максимальному часу роботи GPU.

Minerva надає цінність за ключовими показниками, на яких зосереджені AI-фабрики:

• Збільшення часу між перебоями: Minerva виявляє проблеми до їх виникнення, дозволяючи завданням тривати довше без інцидентів.
• Скорочення часу на ремонт: Коли інцидент все ж трапляється, Minerva точно визначає проблему, що значно прискорює її вирішення.
• Глибше розуміння: Сучасна AI-інфраструктура генерує величезний обсяг даних; Minerva фільтрує їх, залишаючи лише ті сповіщення, які справді важливі.

Серед партнерів NVIDIA, які вже використовують Minerva для оптимізації своїх AI-фабрик, є IREN. Як зазначив Денис Скринніков, технічний директор IREN: «У міру масштабування наших AI-фабрик, ключ до надання найкращих послуг нашим клієнтам полягає у максимізації продуктивності наших GPU. NVIDIA Minerva надає нашій операційній команді єдиний погляд на мережу, GPU та завдання, що виконуються на них, тому ми більше зосереджуємося на проактивному обслуговуванні, а не на усуненні несправностей. Ця видимість зміцнює нашу операційну модель для інфраструктури, яку ми будуємо далі».

Крім IREN, компанії Aolani, Bitdeer AI, IBM, Jio, Lambda, Quake AI та Tesla планують розгорнути Minerva. Також, окрім Dell Technologies, Lenovo та Supermicro запропонують Minerva як частину своїх портфелів операцій AI-фабрик.

джерело: NVIDIA