NVIDIA випустила серію відкритих AI-моделей Nemotron 3.5

Компанія NVIDIA офіційно презентувала нове сімейство відкритих AI-моделей Nemotron 3.5. Головним анонсом стала флагманська мультимодальна модель Nemotron 3.5 Super VL на 120 мільярдів параметрів, а також дві локальні («edge») моделі серії Nemotron 3.5 Bolt.

Розробка охоплює всі рівні інфраструктури: від великомасштабних корпоративних серверів та центрів даних до персональних ПК із відеокартами GeForce RTX, мобільних станцій DGX Spark та вбудованих систем Jetson.

Флагманська модель Nemotron 3.5 Super VL зі 120 млрд параметрів створена у співпраці з консорціумом Nemotron Coalition. Вона оптимізована для автономних AI-агентів, які працюють із багатоетапними бізнес-процесами, викликами інструментів та аналізом візуальних даних.

Рішення забезпечує точність, порівнянну з найпотужнішими закритими моделями міркувань, маючи приблизно вдвічі меншу кількість параметрів.

Працює до 5 разів швидше за найближчих відкритих аналогів у своєму класі.

Модель здатна розпізнавати складні таблиці, графіки, вебсторінки та документи PDF без необхідності передавати завдання окремим спеціалізованим системам.

Для тренування було використано близько 26 трлн токенів та 3,8 млн зразків донавчання. NVIDIA також оприлюднила відкриті датасети та середовища навчання з підкріпленням у NeMo Gym на платформі Hugging Face.

Компанія розширила лінійку двома компактними моделями для локального використання без відправлення даних у хмару.

Nemotron 3.5 Bolt 74B-A9B 24GB призначена для локальних робочих станцій, ноутбуків NVIDIA RTX Spark та ПК з GeForce RTX. Завдяки нативному 2-бітному квантуванню модель вміщується у 24 ГБ відеопам'яті та дозволяє виконувати завдання з написання й налагодження коду, пошуку в мережі та аналізу даних. Реліз відбувся 16 жовтня.

Nemotron 3.5 Bolt E4B 4GB - це модель для швидких голосових асистентів, інтерфейсів робототехніки та інтерактивних персонажів. Вона оптимізована для пристроїв із 4 ГБ пам'яті та вийде 23 жовтня.

Провідні технологічні компанії вже інтегрують та донавчають Nemotron 3.5 Super VL під власні потреби. Так Salesforce, Atlassian та Perplexity використовують модель для агентного пошуку в Jira, Confluence та автоматизації робочих процесів.

CrowdStrike та EY застосовують модель для кібербезпеки та проведення фінансового аудиту M&A.

TrainLoop донавчила модель на дерматологічних даних Nolla, що дозволило їй стати першою компанією, якій дозволено використовувати AI для створення первинних рецептів для пацієнтів.

Завантажити моделі та вагові коефіцієнти вже можна на платформах Hugging Face, ModelScope, Open Router та у вигляді мікросервісів NVIDIA NIM. Для локального розгортання моделей серії Bolt підтримуються популярні фреймворки llama.cpp, Ollama, LM Studio, Unsloth та vLLM.

Як безпечно перейти до системного та керованого використання ChatGPT Business