Распознавание объектов. В Китае создали ИИ-модели, которые помогают роботам лучше видеть стекло и зеркала

Об этом пишет издание Interesting Engineering .

LingBot-Depth 2.0 была создана для улучшения пространственного восприятия роботов. Модель обучали на 150 млн образцов. Она показала лучшие результаты в 12 из 16 тестов на восстановление данных о глубине сцены.

Особенно заметно точность возросла в помещениях, где камеры роботов теряют часть информации о расстоянии до предметов. По данным Robbyant, погрешность модели в таких условиях сократилась более чем вдвое. Показатель RMSE, отражающий среднюю величину ошибки, снизился с 0,132 до 0,062.

Новая система также лучше распознает стекло, зеркала и прозрачные предметы. Обычным камерам глубины сложно работать с такими поверхностями из-за отражения или прохождения света.

Улучшить результат помогла LingBot-Vision — базовая модель компьютерного зрения для роботов. В процессе обучения ИИ отдельно учили определять границы и структуру предметов. Благодаря этому система способна с высокой точностью находить контуры объектов и лучше понимать их расположение в пространстве.

LingBot-Vision обучали на 160 млн изображений. Несмотря на относительно небольшой набор данных по сравнению с более крупными моделями, система показала конкурентоспособные результаты. Она также способна стабильно отслеживать края и контуры объектов на видео.

LingBot-Depth 2.0 уже протестировали для использования в коммерческой робототехнике. Модель получила сертификацию лаборатории Depth Vision компании Orbbec.

В ходе испытаний с 3D-камерами серии Gemini 330 система точнее определяла края и контуры предметов, распознавала небольшие объекты и оценивала расстояние на больших дистанциях. Кроме того, модель лучше справлялась со сложным освещением и работой с различными материалами.

Robbyant и Orbbec планируют использовать эту технологию в новом оборудовании для сбора данных, необходимых для обучения роботов. Устройство RGB-D EGO будет оснащено специальной версией LingBot-Depth для записи качественных пространственных данных.

В будущем разработчики планируют представить усовершенствованную коммерческую версию модели. Она должна еще точнее определять расстояние, границы объектов и структуру пространства, чтобы роботы могли эффективнее работать в реальных условиях.