llm-d 1.0: відкритий та ефективний рушій для масштабного розгортання ШІ-інференсу

Спільнота проєкту llm-d оголосила про випуск версії 1.0, що знаменує важливий етап у розвитку відкритого проєкту, покликаного допомогти організаціям ефективніше розгортати та масштабувати інференс великих мовних моделей (LLM) на сучасній інфраструктурі. Заснований у 2025 році компаніями Red Hat, IBM, Google Cloud, CoreWeave та NVIDIA, і тепер керований Cloud Native Computing Foundation (CNCF), llm-d відіграє ключову роль у створенні відкритої платформи для підприємств, що розгортають ШІ у виробничих масштабах.

У той час як організації прагнуть впровадити ШІ у виробництво, багато хто стикається з тим, що управління ШІ у масштабі може бути таким же складним і дорогим, як і створення самих моделей. Компаніям потрібен спосіб забезпечити швидку реакцію для користувачів, підтримувати агентні навантаження та максимізувати використання все більш дефіцитних обчислювальних ресурсів. llm-d 1.0 створено для вирішення цих викликів за допомогою інтелектуальних розподілених можливостей інференсу, що сприяють покращенню продуктивності, збільшенню пропускної здатності та допомозі організаціям отримати кращий контроль над економікою обслуговування ШІ.

Перетворення інновацій на реальність виробництва

З появою агентного ШІ з’являються нові типи навантажень, які створюють особливе навантаження на інфраструктурні системи. Агентні навантаження постійно отримують доступ та повторно використовують величезні обсяги контексту, одночасно підтримуючи паралельні агенти, що можуть генерувати непередбачувані сплески активності. Управління цим контекстом часто споживає більше ресурсів, ніж саме генерування кінцевого результату, що робить затримку, пропускну здатність, ефективність використання пам’яті та витрати на інфраструктуру критично важливими факторами для досягнення рентабельності інвестицій у ШІ. llm-d вже забезпечує апаратну гетерогенність та розширені можливості інференсу «з коробки» для складних інфраструктурних середовищ, а також кешування префіксів, маршрутизацію з урахуванням навантаження, вивантаження KV-кешу, розділення префіксного генерування та декодування, паралелізм широких експертів та пакетний/асинхронний інференс – на кількох серверах моделей, включаючи vLLM та SGLang.

llm-d 1.0 розроблено для забезпечення цієї продуктивності в реаліях експлуатації «Дня 2» та постійної роботи з інференсом у виробництві: обслуговування кількох орендарів, балансування конкуруючих пріоритетів, забезпечення функцій з нульовим часом простою та підтримка нових агентних навантажень – все в рамках одного набору спільно розроблених компонентів, які складаються в платформу. Нові можливості версії 1.0 включають:

• Якість обслуговування для кількох орендарів – Керування потоками з урахуванням пріоритетів та справедливості допомагає запитам, чутливим до затримок, та агентним навантаженням зі сплесками активності спільно використовувати флот без взаємного витіснення.
• Операції з нульовим часом простою – Висока доступність маршрутизатора з гарячим резервуванням та ковзні оновлення забезпечують безперебійний трафік під час оновлень та планового обслуговування. Управління репліками префіксного генерування/декодування як єдиним логічним блоком з координованими розгортаннями та оновленнями в синхронному режимі робить розділений інференс практичним у виробництві.
• Стабільна основа для побудови – Стабільний API конфігурації v1 та захищений шлях обробки запитів, перевірений на різних хмарах та прискорювачах, надають користувачам реліз, на який вони можуть спиратися.
• Обслуговування з урахуванням агентів – Маршрутизація з урахуванням сесій зберігає багатооборотні діалоги поблизу їхнього кешованого контексту, тоді як планування з пріоритетом ходу та нативна підтримка стану API відповідей допомагають агентам повторно використовувати контекст між ходами та зменшувати повторні обчислення.

Результатом є інфраструктура, яка може підтримувати різноманітні навантаження ШІ, від чутливих до затримок взаємодій з користувачами до великомасштабних автономних агентних робочих процесів, не змушуючи організації обирати між швидкістю реакції та ефективністю.

Зростання екосистемного імпульсу

llm-d вже використовується зростаючою екосистемою розробників моделей, хмарних провайдерів, постачальників інфраструктури та корпоративних користувачів. На сьогодні проєкт налічує понад 500 контриб’юторів з понад 25 організацій, які співпрацюють над майбутнім розподіленого інференсу ШІ та допомагають створювати спільні основи для всього стеку ШІ-інфраструктури.

Основні користувачі, включаючи організації, що займаються великомасштабним розподіленим інференсом, розробники передових моделей, що оптимізують стеки інференсу, та хмарні провайдери, що обслуговують багатоорендні кінцеві точки ШІ, вже відчули вимірну користь від розгортання llm-d.

В одному з нещодавніх сценаріїв використання, відкриті передові моделі та llm-d дозволили IBM Research досліджувати апаратне забезпечення для корекції квантових помилок з витратами на інференс у 11,5 разів нижчими, ніж у повністю пропрієтарній конфігурації. Дослідники повідомили про коефіцієнт влучень у кеш префіксів близько 98% та сукупну вартість обслуговування приблизно 0,11 долара США за мільйон токенів.

У окремій нещодавній демонстрації з використанням стандартних навантажень дослідники показали, що llm-d може ефективно обслуговувати великі моделі типу «суміш експертів» для агентних навантажень. Дослідники використали llm-d для розгортання GLM 5.2, моделі з відкритими вагами приблизно на 753 мільярди параметрів, на широко використовуваних GPU NVIDIA, демонструючи, як підприємства можуть використовувати існуючі GPU-парки для масштабування передових ШІ-моделей. На навантаженні з сотнями паралельно запущених агентних сесій, розгортання забезпечило понад 6,6 мільйона вихідних токенів за хвилину на піку на агентних тестах, обслуговуючи до 3000 одночасних агентів кодування без переривань. При поточних ставках оренди хмарних ресурсів, це розгортання призвело до витрат, які були б у 5-10 разів меншими за токен, ніж еквівалентна комерційна ціна API, з найбільшою економією на шаблонах трафіку з інтенсивним введенням даних, типових для агентних навантажень, що підкреслює, як llm-d може заощадити ресурси та кошти для підприємств, що розгортають ШІ у виробництві у масштабі.

Завдяки моделі управління CNCF та широкій участі галузі, llm-d має на меті прискорити інновації, одночасно надаючи організаціям відкриту альтернативу для управління дедалі складнішою ШІ-інфраструктурою. Заглядаючи в майбутнє, спільнота продовжуватиме адаптуватися до нових апаратних засобів та моделей, еволюціонуючи програмний стек для досягнення пікової продуктивності на нових архітектурах. Щоб дізнатися більше, ознайомтеся з анонсуючими блогами IBM та Red Hat.

Підтримуючі цитати

Кріс Аніщічик, технічний директор, CNCF:

«Інференс ШІ швидко стає основним навантаженням у хмарних технологіях. llm-d 1.0 допомагає організаціям зустріти цей зсув у масштабі, об’єднуючи можливості інференсу з відкритим вихідним кодом з вимогами, що мають значення для масштабування виробництва, а потім для задоволення потреб агентних навантажень. Це важливий крок до того, щоб зробити високопродуктивний інференс з відкритим вихідним кодом більш операційно зрілим та доступним у всьому хмарному екосистемі».

Брайан Стівенс, старший віце-президент і головний технічний директор ШІ, Red Hat:

«Оскільки організації виходять за рамки експериментів з ШІ та переходять до повномасштабного виробництва, вузьке місце зміщується від генерації відповідей до управління економікою, операційною надійністю та екстремальними вимогами до інфраструктури складних агентних навантажень. Співпраця з відкритим вихідним кодом є важливою для вирішення цих операційних проблем «Дня 2» у масштабі. З llm-d 1.0 спільнота надає стандартизоване, захищене ядро для розподіленого інференсу, щоб розширити можливості підприємств оптимізувати апаратну продуктивність, вирішувати операційні витрати та створювати високощільні архітектури ШІ на відкритій основі».

Прія Нагпуркар, віце-президент, AI native systems, IBM Research:

«В IBM ми на власні очі бачимо, що виклик корпоративного ШІ полягає вже не просто у створенні потужних моделей, а в їх ефективному та надійному масштабуванні. llm-d 1.0 є важливим етапом у створенні відкритої основи для розподіленого інференсу, щоб допомогти організаціям отримати більше цінності від своєї ШІ-інфраструктури та більше контролю над ШІ-можливостями, від яких вони залежать. Оскільки агентні навантаження стають все більш поширеними, відкриті технології, такі як llm-d, будуть критично важливими для покращення продуктивності, зниження витрат та прискорення інновацій у всій ШІ-екосистемі».

Марк Ломейєр, віце-президент і генеральний директор, AI & Computing Infrastructure, Google Cloud:

«Агентний ШІ розкриває величезну цінність для підприємств і споживачів у широкому діапазоні випадків використання. Однак, оскільки ці навантаження швидко масштабуються у виробництві, вони висувають унікальні вимоги до інфраструктури та потребують нових підходів для забезпечення продуктивності, надійності та економічної ефективності, які потрібні нашим клієнтам. Випуск llm-d 1.0 є важливим етапом для галузі у вирішенні цих потреб. Як один із засновників llm-d, Google Cloud інтегрує llm-d 1.0 у Google Kubernetes Engine та впроваджує його на всіх наших портфоліо Google TPU та NVIDIA GPU, дозволяючи клієнтам масштабувати багатоорендні середовища, оптимізувати продуктивність інференсу та значно знизити загальні витрати на обслуговування на захищеній, відкритій основі».

Шаді Саба, віце-президент з інжинірингу, AI/ML, CoreWeave:

«Кожна команда, що займається масштабуванням інференсу, стикається з одними й тими самими проблемами: контекст, яким керувати часто коштує дорожче, ніж результат, орендарі, що конкурують за той самий флот, і оновлення, які не можуть перервати трафік. llm-d 1.0 надає спільноті захищену, відкриту основу для їх вирішення один раз, а не окремо. CoreWeave допоміг заснувати проєкт, і клієнти можуть запускати llm-d на CoreWeave Kubernetes Service поряд з NVIDIA Dynamo, обираючи стек обслуговування, який відповідає їхнім навантаженням».

Уджвал Капасі, віце-президент, Engineering AI Frameworks, NVIDIA:

«Наступна хвиля агентного ШІ вимагає інференсу, що забезпечує продуктивність та ефективність у масштабі. Додання llm-d до NVIDIA Vera Rubin допоможе підприємствам створювати та масштабувати передові ШІ-додатки на наступному поколінні прискореної інфраструктури NVIDIA. Завдяки нашій співпраці зі спільнотою llm-d та внеску від відкритого коду NVIDIA Dynamo, ми допомагаємо підприємствам отримати більше від своїх інвестицій у ШІ-інфраструктуру».

Філ Ґвідо, виконавчий віце-президент і директор з комерційних операцій, AMD:

«З llm-d v1.0 ми просуваємо відкритий, високопродуктивний розподілений інференс на GPU AMD Instinct. Агентні навантаження вимагають інфраструктури, що забезпечує швидкість реакції та ефективність. Співпрацюючи зі спільнотою llm-d, ми надаємо останні інновації в інференсі на відкритій основі, надаючи розробникам більшу гнучкість та вибір для розгортання ШІ у масштабі».

Асір Локателлі, віце-президент, Modeling, Cohere:

«В Cohere ми стикаємося з подвійним викликом: тренування передових мовних моделей та їх ефективне обслуговування у корпоративному масштабі. llm-d допомагає нам оптимізувати обидва напрямки, чи то максимізація пропускної здатності для великомасштабних робочих навантажень з підкріпленим навчанням, чи то забезпечення швидкості реакції, яку користувачі очікують у виробництві. Його гнучка архітектура з відкритим вихідним кодом тісно узгоджується з нашим зобов’язанням щодо суверенного ШІ, надаючи організаціям більший контроль над тим, як розгортається, експлуатується та масштабується ШІ».

Салман Парача, старший віце-президент AI Engineering, DigitalOcean:

«DigitalOcean з ентузіазмом ставиться до випуску llm-d 1.0 і покладається на llm-d як на базове програмне забезпечення для розподіленого інференсу для DigitalOcean Serverless Inference та Managed Agents, обслуговуючи трильйони токенів. Його Kubernetes-нативний дизайн та інтеграція з Kubernetes Gateway API Inference Extensions забезпечують надійну оркестрацію та вибір кінцевих точок, тоді як перевірені на практиці шляхи для динамічного контролю потоків, балансування навантаження з урахуванням інференсу та розділення префіксного генерування/декодування допомагають нам надійно працювати у масштабі. Ми тісно співпрацюємо зі спільнотою llm-d, роблячи внесок у функції та зворотний зв’язок на рівні основного проєкту, і з нетерпінням чекаємо на подальший розвиток llm-d».

Владислав Танков, директор з ШІ, JetBrains:

«JetBrains працює з llm-d з ранніх релізів, і чудово бачити, як проєкт досяг версії 1.0. llm-d зараз працює у виробництві за нашим новим планом Junie Lite та обслуговує значну частину трафіку. Наш трафік варіюється від довгих агентних сесій кодування до коротких запитів, і планування на основі прогнозованої затримки було легко увімкнути і підтримує стабільну затримку для цього міксу. Junie Lite надає наш ШІ-агент для кодування розробникам безкоштовно, і llm-d допомагає зробити це можливим, дозволяючи нам обслуговувати більше запитів на GPU з меншими витратами та швидшими відповідями. Ми отримували задоволення від роботи з командою llm-d і вітаємо їх з цим релізом».

Матіс Фелардос, Лукас Фернандес-Мартінс і Нікхіл Томас (Mistral, інженери з інференсу та контриб’ютори llm-d):

«Обслуговування передових моделей у інтерактивних додатках та API з високим обсягом трафіку означає обробку різких сплесків трафіку без того, щоб навантаження зі сплесками погіршували затримку для пріоритетних клієнтів. Завдяки маршрутизації llm-d з урахуванням кешу префіксів, контролю потоків та підтримці розділеного інференсу ми можемо встановлювати суворі пріоритетні діапазони для наших комерційних рівнів, автоматично утримуючи або відкидаючи запити з нижчим пріоритетом, коли пули насичуються, щоб платний трафік відповідав нашим цільовим показникам затримки. Mistral є гордим прихильником програмного забезпечення з відкритим вихідним кодом, і ми продовжуватимемо робити внесок у проєкти llm-d та DisaggregatedSet».

Нішчай Ханна, старший директор з інжинірингу, AI Platform, Roblox:

«В Roblox ефективне обслуговування великих мовних моделей у поєднанні хмарних та локальних GPU є одним з наших основних інфраструктурних викликів. llm-d надає нам Kubernetes-нативну основу для розділеного інференсу та кеш-орієнтованої маршрутизації на апаратному забезпеченні, яке ми вже використовуємо, не прив’язуючи нас до одного рушія інференсу. Ми раді будувати на основі llm-d 1.0 і робити внесок у спільноту».

джерело: IBM