Microsoft завершила тренування MAI-Base-2: потужніша за аналоги

Microsoft офіційно оголосила про завершення попереднього тренування своєї нової базової моделі штучного інтелекту MAI-Base-2. Згідно із заявою компанії, ця модель демонструє продуктивність, що перевищує всі протестовані відкриті аналогічні моделі.

MAI-Base-2: масштаби та продуктивність

Нова модель MAI-Base-2 має вражаючий загальний розмір у 2.8 трильйона параметрів, при цьому активними є 80 мільярдів параметрів. Тренувальний процес тривав 38 днів на потужній конфігурації з 6000 графічних процесорів NVIDIA GB200. Протягом усього періоду тренування середня ефективність використання обчислювальних ресурсів (плаваюча кома) становила 21%, а ефективна пропускна здатність досягла 89%.

Microsoft підкреслює, що ефективність попереднього тренування MAI-Base-2 є в 4-12 разів вищою порівняно з моделлю DeepSeek-V4-Pro-Base. Це свідчить про значний прогрес у оптимізації процесів навчання великих мовних моделей.

Ключові фактори успіху

Компанія виділила три основні чинники, які сприяли успіху попереднього тренування MAI-Base-2:

• Науково обґрунтоване масштабування: Ретельний підхід до визначення розміру моделі та обсягу даних, що використовуються для навчання.
• Спільний дизайн моделі та інфраструктури: Тісна взаємодія між розробкою самої моделі та оптимізацією апаратно-програмної інфраструктури, на якій вона навчається.
• Масштабування даних: Використання величезних обсягів високоякісних даних для тренування моделі.

Майбутні розробки

Паралельно з роботою над MAI-Base-2, Microsoft вже розпочала підготовку до створення наступного покоління моделі — MAI-Base-3. Це свідчить про невпинне прагнення компанії до розробки передових рішень у галузі штучного інтелекту.

Заява Microsoft підкреслює їхню амбіцію конкурувати і перевершувати провідні розробки у сфері ШІ, навіть у тих галузях, де традиційно домінують такі компанії, як OpenAI.

Ці досягнення демонструють зростаючу потужність Microsoft у сфері досліджень та розробок штучного інтелекту, а також їхню здатність ефективно використовувати значні обчислювальні ресурси для створення передових моделей.

Джерело: https://www.ithome.com/1/013/835.htm