Процесори Intel Xeon підвищують ефективність агентного ШІ

Нові дослідження Intel показують, що процесори Intel Xeon шостого покоління забезпечують значне зростання продуктивності для агентних систем штучного інтелекту, особливо у сферах охорони здоров’я, фінансів та промисловості.

Сучасні тенденції в галузі штучного інтелекту свідчать про перехід від простих запитів та відповідей до складних агентних систем, здатних до міркування, планування, пошуку інформації, використання інструментів та ітеративного вдосконалення. Ці процеси генерують значно більше активності в системі, ніж традиційні інференсні навантаження, що ставить нові виклики перед інфраструктурою.

«Організації все частіше ставлять практичне запитання: скільки корисної роботи може виконати система за певний проміжок часу? Для багатьох агентних розгортань саме пропускна здатність стає ключовим показником продуктивності», – зазначають інженери Intel.

Виклики агентного ШІ

На відміну від традиційного ШІ, агентні системи вимагають ефективного керування діалоговою історією, контекстом виконання, отриманими даними, проміжними результатами та станом робочого процесу. Це включає постійне використання інструментів, доступ до джерел даних, запуск підпроцесів та координацію залежних завдань. Таким чином, загальна продуктивність залежить не лише від обчислювальної потужності, а й від ефективності переміщення даних та завдань на кожному етапі процесу.

Переваги Intel® Xeon® для агентного ШІ

Процесори Intel Xeon з вбудованими прискорювачами поєднують потужні обчислювальні можливості з великим обсягом пам’яті, високою пропускною здатністю пам’яті та надійними можливостями введення/виведення. Це дозволяє ефективно обробляти різноманітні робочі навантаження, характерні для агентних систем: високу паралельність, значне використання пам’яті, інтенсивну оркестрацію та безперервне виконання різнорідних завдань.

Для оцінки продуктивності було використано методологію запису та відтворення (record-and-replay), що забезпечує однакові умови тестування незалежно від динаміки роботи агентів. Випробування включали детермінований набір завдань Terminal-Bench, що імітують реальні робочі навантаження у сферах охорони здоров’я, банківської справи та фінансових послуг (FSI) і виробництва, при 24-кратній паралельності протягом 60 хвилин.

Результати тестування

Охорона здоров’я: Системи на базі процесорів Intel Xeon 6 продемонстрували найвищу нормалізовану пропускну здатність, перевершивши аналогічні рішення на базі 5-го покоління AMD EPYC у 1,66 раза та на базі Arm v9.2A у 4,5 раза. Це стосується як загальної пропускної здатності, так і окремих категорій завдань: аналітичних та логічних, обробки безпечних даних та контролю.

Банківська справа та FSI: Процесори Intel Xeon 6 також показали лідерство, забезпечивши пропускну здатність, що у 1,64 раза вища, ніж у 5-го покоління AMD EPYC, та у 4,57 раза вища, ніж у Arm v9.2A. Це дозволяє фінансовим установам ефективніше обробляти завдання з аналізу ризиків, документообігу, комплаєнсу та клієнтських сервісів.

Виробництво: У цій галузі Intel Xeon 6 показали перевагу в 1,58 раза порівняно з 5-м поколінням AMD EPYC та у 4,24 раза порівняно з Arm v9.2A. Це сприяє прискоренню завдань, пов’язаних із прогнозуванням технічного обслуговування, контролем якості, оптимізацією ланцюгів поставок та плануванням виробництва.

«Ці результати демонструють, що приклад інстансу на базі процесора Intel Xeon 6 забезпечує міцну основу для агентного ШІ, забезпечуючи вищу пропускну здатність у реальних сценаріях у сферах охорони здоров’я, виробництва та фінансових послуг, дозволяючи організаціям обробляти більше завдань, керованих агентами, на тій самій інфраструктурі», – підсумовують представники Intel.

Технічні деталі тестування:

• Benchmark: Terminal-Bench + Harbor 0.16.1, terminus-2 agent.
• Конфігурації: Intel Xeon 6 (1-instance m8id.12xlarge: 48 vCPU, 185 GB RAM), 5th Gen AMD EPYC (1-instance m8a.12xlarge: 48 vCPU, 185 GB RAM), Arm v9.2A (1-instance m9gd.12xlarge: 48 vCPU, 185 GB RAM).
• Операційна система: Ubuntu 26.04.
• Навантаження: 24 паралельні процеси, 60-хвилинний запуск.
• Основний показник: загальна системна пропускна здатність (кількість виконаних завдань за 60 хвилин).

джерело: Intel