Нові моделі Ternary Bonsai 2: ШІ на вашому iPhone

Компанія PrismML представила нове покоління своїх AI-моделей – Ternary Bonsai 2. Ця серія включає три версії: 2B, 4B та 9B. Головна мета розробників – забезпечити ефективну роботу штучного інтелекту безпосередньо на мобільних пристроях, комп’ютерах та навіть носимій електроніці. Це дозволить виконувати такі завдання, як розпізнавання зображень, виклик інструментів та загальне виконання команд, локально, без потреби в постійному підключенні до хмарних сервісів.

Революційна архітектура

Моделі Ternary Bonsai 2 побудовані на базі архітектури Qwen 3.5 від Alibaba. Ключовою інновацією є використання «трійчастого» представлення ваг. Це означає, що параметри моделі кодуються лише трьома значеннями: -1, 0 та +1. Така оптимізація суттєво зменшує розмір моделі. За даними PrismML, версії 2B, 4B та 9B займають приблизно 0.43 ГБ, 0.95 ГБ та 2 ГБ відповідно. Це робить їх ідеальними для розгортання на пристроях з обмеженим обсягом пам’яті.

Практична цінність для користувачів

Серія Bonsai 2 робить акцент на практичних можливостях локальних AI-агентів. Вони здатні чітко слідувати інструкціям, виконувати повсякденні завдання, взаємодіяти з інструментами на мобільних пристроях та уникати повторюваних відповідей. Компанія протестувала моделі за шістьма категоріями: виклик інструментів, математичні завдання, дотримання інструкцій, програмування, знання та логіка, а також візуальне сприйняття. За результатами тестів, 9B модель потребує приблизно на 40% менше токенів для виконання стандартних інструкцій та математичних завдань порівняно з попередніми версіями.

Висока продуктивність та енергоефективність

PrismML заявляє про значні покращення продуктивності. На потужних апаратних платформах, таких як RTX 4090 та M5 Pro, нові моделі демонструють до 5 разів вищу пропускну здатність та в 3 рази кращу енергоефективність порівняно з моделями, що використовують стандартне представлення ваг. Особливо вражають результати на мобільних пристроях. Наприклад, на iPhone 18 Pro Max модель 9B може обробляти до 34 токенів за секунду, а менша 2B модель досягає вражаючих 120 токенів за секунду. Це відкриває нові можливості для створення потужних AI-додатків на смартфонах.

Ternary Bonsai 2 – це крок до справді автономного штучного інтелекту, який працює там, де він потрібен, без залежності від мережі.

Повний спектр рішень

Разом із раніше випущеною моделлю Bonsai 2 27B, нова серія створює повну лінійку продуктів, яка охоплює весь спектр завдань – від найпростіших до найскладніших робочих процесів. Це дозволяє розробникам обирати оптимальний варіант для своїх проєктів.

Доступність та ліцензування

Розробники можуть легко інтегрувати моделі Ternary Bonsai 2 у свої проєкти. Вони доступні для запуску на NVIDIA GPU через llama.cpp, а також для розгортання на Mac, iPhone та iPad за допомогою MLX. Важливою новиною є те, що модельні ваги випущені під ліцензією Apache 2.0, що забезпечує свободу використання та модифікації для комерційних і некомерційних цілей.

Джерело: https://www.ithome.com/1/013/894.htm