Пять этапов разработки. Amazon объединила инструменты AWS и NVIDIA для обучения роботов на базе ИИ

Об этом пишет издание Interesting Engineering .

Платформа объединяет облачные вычисления, симуляцию и обучение искусственного интеллекта от AWS и NVIDIA.

Она предназначена для разработки промышленных роботов, автономных мобильных машин и гуманоидных систем. По замыслу Amazon, она должна упростить перенос моделей ИИ с этапа разработки на физическое оборудование и сократить объем инженерных работ.

Инструментарий Physical AI на AWS охватывает пять этапов разработки: создание синтетических данных, обучение моделей, симуляцию и проверку поведения роботов, развертывание на устройствах, а также непрерывное совершенствование систем на основе данных, собранных в процессе эксплуатации.

Для этого используются сервисы Amazon SageMaker для обучения моделей, графические процессоры Amazon EC2 для симуляции, AWS IoT Greengrass для запуска ИИ непосредственно на устройствах и Amazon Bedrock AgentCore для координации процессов.

Платформа также интегрирует инструменты NVIDIA: Isaac Sim для симуляции робототехники, Isaac Lab для обучения с подкреплением, Isaac GR00T для разработки гуманоидных роботов и Cosmos для создания синтетических сред.

Синтетические данные позволяют создавать дополнительные сценарии обучения без необходимости записывать каждую ситуацию в реальном мире. Симуляция помогает проверять поведение роботов в виртуальной среде перед их запуском на физическом оборудовании. После развертывания собранные данные можно использовать для дальнейшего совершенствования моделей.

По данным Amazon, компания опирается на опыт эксплуатации собственной роботизированной инфраструктуры, насчитывающей более миллиона роботов в ее сети. Этот опыт включает, в частности, координацию парков роботов и поддержку программного обеспечения на уже работающем оборудовании.

Среди разработчиков, работающих с физическим ИИ, Amazon назвала компанию NEURA Robotics, создающую когнитивных гуманоидных роботов, RLWRLD, разрабатывающую базовые модели для манипуляций с предметами, а также Config, создавшую систему сбора и расширения данных для обучения роботизированным действиям.

Платформа может использоваться для создания роботизированных манипуляторов, способных адаптироваться к новым производственным задачам, а также автономных машин для перемещения материалов и контроля производственных процессов. При этом Physical AI Toolchain on AWS представляет собой инструментарий для разработки, а не готового робота.

Одной из главных проблем остается перенос навыков из симуляции в реальный мир. При работе с физическим оборудованием модели могут сталкиваться с неожиданными изменениями трения и освещенности, шумом датчиков, а также различиями между объектами. Поэтому успешная работа в виртуальной среде не гарантирует надежного функционирования на заводе или складе.

AWS и NVIDIA стремятся упростить этот процесс с помощью единой рабочей среды, объединяющей обучение, симуляцию, развертывание и совершенствование моделей. Инструментарий также предусматривает возможности управления парком роботов, включая настройку, защиту и обновление устройств по мере масштабирования проектов.