Ілон Маск зіткнувся з неочікуваною проблемою в ШІ

Компанія xAI, яка розвиває модель Grok і належить Ілон Маск, зіткнулася з серйозним викликом – ефективним використанням власних обчислювальних ресурсів. Попри масштабну інфраструктуру, реальна продуктивність виявилася значно нижчою за очікування.

За наявними даними, компанія розгорнула близько 550 тисяч графічних прискорювачів Nvidia серій H100 і H200 у кластерах Memphis і Colossus. Проте фактичне завантаження цієї системи становить лише близько 11%. Іншими словами, ефективно використовується лише приблизно 60 тисяч GPU, тоді як решта простоює.

Проблема полягає не у відсутності потужностей, а в складності управління такою масштабною інфраструктурою. На рівні сотень тисяч GPU навіть невеликі затримки між етапами навчання, передачею даних і синхронізацією швидко накопичуються. У результаті виникають вузькі місця, які різко знижують загальну ефективність системи.

Джерела вказують, що основна причина – недостатня зрілість програмної та розподіленої архітектури навчання в xAI. Через це графічні процесори часто просто очікують на дані або нові завдання, замість того щоб працювати на повну. Водночас експерти підкреслюють, що це не унікальна проблема: досягнення високого рівня завантаження в гігантських AI-кластерах залишається складним завданням для всієї індустрії.

Для порівняння, такі гіганти, як Meta і Google, демонструють кращі результати – приблизно 43% і 46% завантаження відповідно. Проте навіть ці показники не вважаються ідеальними. У xAI орієнтуються на рівень близько 50%, але коли саме вдасться досягти такого показника, поки не уточнюється.

Источник: itechua.com