По командам. NVIDIA представила систему SONIC, которая учит гуманоидных роботов бегать, прыгать и танцевать
Исследователи NVIDIA создали SONIC — систему управления гуманоидными роботами , которая преобразует текст, видео, музыку и движения человека в команды для всего тела робота.
Об этом пишет издание Interesting Engineering .
SONIC разработана как универсальная система, поэтому ей не требуется отдельный контроллер для каждого действия. Она способна управлять ходьбой, бегом, прыжками, захватом предметов и переходами между различными движениями.
Для обучения исследователи использовали более 100 млн кадров движения, полученных примерно из 700 часов записей движений людей. Самая крупная версия модели содержит 42 млн параметров. Обучение проводилось с использованием до 128 графических процессоров и заняло около 21 тыс. часов вычислений на GPU.
В основе SONIC лежит единая система представления движений. Она позволяет преобразовывать различные типы команд в универсальный формат, который затем используется роботом для выполнения действий. Благодаря этому одна система может работать с дистанционным управлением, видео, текстовыми командами и музыкой.
Например, робот может получить из видео информацию о движениях человека и воспроизвести их. Текстовая команда может задать конкретное действие, такое как ходьба или удар ногой. Музыка используется для генерации танцевальных движений.
SONIC также оснащен планировщиком движений, работающим в режиме реального времени. Он формирует краткие последовательности между заданными положениями тела и способен перестраивать их при поступлении новой команды. Это позволяет изменять направление, скорость или характер движения без повторного обучения системы.
Исследователи испытали SONIC на гуманоидном роботе Unitree G1. В реальных условиях система успешно выполнила 99,2% из 123 проверенных последовательностей движений. В симуляции результат составил 100%.
SONIC также подключили к модели, объединяющей обработку изображений, речи и действий. В пяти задачах, требующих задействования всего тела, средний показатель успешности составил 75%. В их число входили поднятие предмета, открывание мусорного бака с помощью педали, а также координация движений рук и ног для перемещения банки с газированным напитком в контейнер.
Исследователи полагают, что единая система команд может упростить управление гуманоидами на уровне более сложных ИИ-моделей. Вместо раздельного контроля ходьбы и манипуляций с предметами робот получает единый механизм управления всем телом.