Повторить за 3 секунды. Роботы от Generalist AI научились копировать движения человека по одному короткому видео
Стартап Generalist AI представил новую базовую модель искусственного интеллекта GEN-1.5, способную обучать роботов выполнению новых физических задач всего после одной демонстрации продолжительностью от 3 до 12 секунд.
Система не требует повторного обучения или корректировки алгоритмов для каждого нового процесса. Робот считывает сенсорные и визуальные подсказки человека и сразу же пытается самостоятельно повторить увиденное.
В ходе испытаний, включавших 10 базовых бытовых задач, система продемонстрировала 59% успешных попыток всего после одной демонстрации, пишет Interesting Engineering.
Если же предоставить модели пять минут дополнительных данных и выполнить 10 шагов дообучения, эффективность выполнения возрастает до 83 процентов. ИИ уже испытали на таких задачах, как откручивание крышек с банок, складывание стаканчиков, расстегивание молний и уборка мусора.
GEN-1.5 — это мультимодальная система, которая одновременно обрабатывает видео, голосовые команды, показания датчиков и данные о положении собственного тела с частотой 100 Гц. Модель способна объединять отдельные инструкции в сложные последовательности. Например, увидев два отдельных примера того, как расстегивают пенал и достают деньги, робот самостоятельно объединил эти действия в единый процесс.
«Модель способна адаптироваться к новым условиям и импровизировать на ходу. Увидев, как человек сметает мусор с блока кистью, робот при отсутствии нужного инструмента использовал в качестве щетки банан», — отмечают разработчики.
Кроме того, система способна копировать движения обычной человеческой руки, наблюдая за ними через камеры, и переносить навыки из виртуальной симуляции в реальный мир.