iFlytek Spark X2.6: китайська революція у великих мовних моделях

Сьогодні, 22 жовтня, на щорічному глобальному фестивалі розробників iFlytek Global 1024 Developer Festival, компанія iFlytek офіційно представила свою нову розробку – велику мовну модель iFlytek Spark X2.6. Ця модель вирізняється своєю кінцево-хмарною інтегрованою архітектурою та, за заявами розробників, є першою, що досягла значних проривів у кодуванні та функціоналі агентів, використовуючи виключно китайські обчислювальні потужності.

Прорив на національних обчислювальних потужностях

На відміну від багатьох інших великих мовних моделей, які тренуються на графічних процесорах NVIDIA, iFlytek Spark X2.6 був розроблений та навчений на китайських обчислювальних платформах. Голова iFlytek, Лю Цінфен, підкреслив, що їхня модель є унікальною в цьому аспекті, адже вона є найменшою за розміром серед аналогів, що тренуються на таких потужностях.

Крім того, iFlytek Spark X2.6 вдалося подолати вузькі місця ефективності тренування довготривалих завдань на національних чіпах. Компанія впровадила технологію динамічного паралельного тренування для довготривалих завдань на вітчизняних платформах, що вирішило проблему низької ефективності змішаного тренування, спричинену обмеженнями пропускної здатності пам’яті національних чіпів.

Інновації у сфері виведення результатів

Щодо ефективності виведення результатів на національних кластерах обчислень для довготривалих завдань, iFlytek досягла двох важливих інновацій:

• Розподілене виведення на основі національних гетерогенних обчислювальних ресурсів: Це вирішує проблему повільного тренування, спричинену обмеженнями пропускної здатності пам’яті національних чіпів.
• Розробка на основі національного обладнання: Ця технологія дозволяє використовувати наявні результати без необхідності повторних обчислень, що значно прискорює процес.

Відкриття моделі для розробників

Особливо варто відзначити випуск відкритої моделі для кінцевих пристроїв Spark X2.6-4B. Вона демонструє стрибок у можливостях агентів на кінцевих пристроях, значно перевершуючи попередню версію Spark X2.5-4B за всіма показниками. З моменту свого відкриття 1 вересня, модель Spark X2.5-4B вже увійшла до топ-4 найпопулярніших відкритих моделей для кінцевих пристроїв у світі за кількістю завантажень.

Технічні характеристики та ціноутворення

Моделі серії iFlytek Spark X2.6 тепер доступні для пробного використання на офіційному сайті iFlytek. Вони використовують архітектуру MoE з 293 мільярдами параметрів (A30B), розширену довжину контексту до 1 мільйона токенів. Можливості моделі у сфері кодування та роботи з агентами досягли найвищого рівня у галузі. Крім того, забезпечується професійний захист безпеки з можливістю налаштування безпекових політик відповідно до конкретних сценаріїв завдань.

Ціноутворення для Spark X2.6 встановлено наступним чином:

• Введення даних: 0.9 юаня за мільйон токенів (обмежена пропозиція).
• Попадання в кеш введення: 0.08 юаня за мільйон токенів (обмежена пропозиція).
• Виведення даних: 3.6 юаня за мільйон токенів (обмежена пропозиція).

Відкрита модель Spark X2.6-4B для кінцевих пристроїв показала значні покращення у сфері кодування, роботи з агентами, обробки великих текстів та багатомовності. Вона пропонує три нові режими виведення, а ефективність виведення в рамках власної системи iFlytek перевершує ollama. Ціноутворення для Spark X2.6-4B є обмеженим часом безкоштовним.

Загалом, випуск iFlytek Spark X2.6 знаменує собою важливий крок у розвитку великих мовних моделей, особливо в контексті використання національних обчислювальних ресурсів та забезпечення доступу до передових технологій для широкого кола розробників.

Джерело: https://www.ithome.com/1/016/403.htm