NVIDIA розширює сімейство моделей Nemotron

NVIDIA представила три нові відкриті моделі великих мовних моделей (LLM) сімейства Nemotron, призначені для різних сценаріїв використання – від потужних дата-центрів до локальних пристроїв. Новинки включають Nemotron 3.5 Super VL, Nemotron 3.5 Bolt 74B-A9B 24GB та Nemotron 3.5 Bolt E4B 4GB.

Nemotron 3.5 Super VL – це відкрита модель з 120 мільярдами параметрів, яка забезпечує найшвидше виконання завдань і найвищу точність для спеціалізованих агентів, що працюють постійно.

Додатково компанія випустила дві нові моделі для роботи на периферійних пристроях (edge): Nemotron 3.5 Bolt 74B-A9B 24GB, оптимізовану для балансу між інтелектом та швидкістю на гігабайт пам’яті для локальних агентних навантажень, та Nemotron 3.5 Bolt E4B 4GB, що оптимізована для інтелекту на гігабайт пам’яті для швидких розмовних агентів.

Моделі Super VL та Bolt 74B-A9B вже доступні, а Bolt E4B з’явиться 23 жовтня. Ці три відкриті моделі разом охоплюють повний спектр розгортання агентів, від великих корпоративних серверів до периферійних пристроїв і локального обладнання.

Nemotron 3.5 Super VL: Точність на рівні передових розробок при меншому розмірі

Super VL, створена у співпраці з Nemotron Coalition, демонструє провідну точність у мультимодальних агентних завданнях, таких як виконання інструкцій, використання інструментів, багатоетапні бізнес-процеси та візуальне розуміння. Її показники порівнюються з найбільшою моделлю NVIDIA для розв’язання складних завдань, при цьому кількість параметрів становить приблизно п’яту частину.

Super VL є найшвидшою відкритою агентною моделлю у своєму класі, демонструючи пропускну здатність до 5 разів вищу, ніж у інших подібних моделей, що допомагає корпоративним агентам швидше завершувати обсягні завдання у складних робочих процесах.

На відміну від закритих моделей, організації можуть дотреновувати Super VL на власних даних, розгортати її на власній інфраструктурі та контролювати процес створення.

Nemotron 3.5 Bolt: Агентний інтелект на периферії

Bolt 74B-A9B 24GB призначена для локального виконання повсякденних агентних завдань на NVIDIA RTX/DGX Spark. Вона використовує нативну 2-бітну квантизацію, що дозволяє вміститися в 24 ГБ пам’яті та працювати паралельно з іншими додатками. Порівняно з іншими моделями зі схожим обсягом пам’яті, вона пропонує гарний баланс між інтелектом та швидкістю.

З Bolt 74B-A9B 24GB користувачі можуть делегувати свої проєкти популярним локальним агентним інструментам – від пошуку в Інтернеті до написання та налагодження коду – без надсилання цих навантажень до хмари. Модель посідає перше місце серед відкритих моделей у своєму класі на PinchBench та друге місце на BrowseComp.

Bolt E4B 4GB створена для фізичних та розмовних агентів на платформах GeForce RTX, Jetson та RTX/DGX Spark. Вона поєднує природну розмову з багатооборотними агентними можливостями, забезпечуючи роботу швидких локальних голосових помічників, інтерактивних персонажів та вбудованих інтерфейсів.

Прийняття кастомної суперінтелектуальної моделі

Десятки організацій з різних галузей дотреновують Super VL на своїх даних, інструментах, політиках та робочих процесах для підвищення точності у спеціалізованих завданнях, що визначають їхні агентні розгортання. Серед компаній, які кастомізують Nemotron 3.5 Super VL, – Scale AI, AfterQuery, AI21, Alice, Mercor, ModelScope, Ramp, Dream, Lila Sciences, R1, Atlassian, CrowdStrike, Dassault Systèmes, Perplexity, Salesforce та Synopsys.

Візуальні можливості Nemotron 3.5 Super VL

Сильні сторони Super VL у сфері візуального розуміння зосереджені на завданнях, з якими агенти стикаються на практиці: оптичне розпізнавання символів, робота з таблицями, діаграмами та структурованою інформацією у візуальних документах. Модель може обробляти веб-сторінки, витягувати текст, читати графіки та діаграми, повертаючи інсайти з отриманої інформації. Це стосується також PDF-файлів та інших документів, з якими часто працюють агенти.

Поєднання текстового та візуального розуміння в одній моделі означає, що агентам не потрібно маршрутизувати завдання між окремими системами – контекст зберігається під час переходу від документа до даних і до прийняття рішення.

Відкритість для максимального контролю, безпеки та конфіденційності

Відкритість та можливість кастомізації підсилюють одна одну. Модель постачається з відкритими вагами, відкритими наборами даних та рецептами для навчання. Організації можуть запускати модель будь-де, залежно від вимог безпеки та місця зберігання даних. Вони обирають модель, яку можна адаптувати, а не ту, що підпадає під обмеження постачальника.

Модель навчалася на приблизно 26 трильйонах токенів у процесі попереднього навчання та донавчання, а потім була дотренована приблизно на 3,8 мільйонах зразків та з використанням навчання з підкріпленням у десятках середовищ. NVIDIA також випускає відкриті набори даних на Hugging Face, що охоплюють використання агентних інструментів, фінанси, виконання інструкцій, довгий контекст, справедливість та візуально-мовне розуміння, а також середовища навчання з підкріпленням у NeMo Gym.

Пакет NVIDIA NIM надає модель у вигляді готового до виробництва мікросервісу з оптимізованими за продуктивністю, валідованими конфігураціями та корпоративною підтримкою. Модель Nemotron 3.5 Super VL доступна на Hugging Face, Open Router, ModelScope та як NVIDIA NIM.

Nemotron 3.5 Super VL працює на всьому апаратному стеку NVIDIA, включаючи DGX Spark, DGX Station, RTX PRO та системи RTX для локального інтелекту на робочому столі, на NVIDIA Jetson на периферії, а також у середовищах дата-центрів та хмар.

Nemotron 3.5 Bolt 74B-A9B 24GB доступна на Hugging Face з підтримкою llama.cpp, Ollama, LM Studio, Unsloth та vLLM. Модель також працює на ПК з GeForce RTX, робочих станціях DGX Spark, DGX Station та RTX PRO.

джерело: NVIDIA