Обучение с подкреплением. В США разработали технологию, которая повышает точность движений роботов на 15%

Об этом пишет издание Interesting Engineering.

Новый метод получил название Contraction-Aware Reinforcement Learning (CARL). Он сочетает в себе обучение с подкреплением и математическую теорию, позволяющую контролировать устойчивость роботов и ограничивать отклонения от запланированной траектории.

Обучение с подкреплением предполагает, что робот постепенно совершенствует свои действия, получая обратную связь в процессе взаимодействия с окружающей средой. Однако такой подход не гарантирует стабильной работы. Даже научившись выполнять задачу, робот может двигаться непредсказуемо или слишком сильно отклоняться от маршрута.

CARL призван решить эту проблему. Для этого исследователи использовали теорию сжатия, которая помогает математически оценивать устойчивость систем, изменяющихся со временем. Благодаря этому робот может самостоятельно совершенствовать свои движения, а система при этом ограничивает возможные ошибки.

Технология не устраняет отклонения полностью, однако позволяет установить математически обоснованные пределы их величины. Это должно снизить риск нестабильной работы и повреждения оборудования в процессе эксплуатации.

Сначала ученые проверили CARL в компьютерных симуляциях, а затем провели испытания на реальных роботах в авиационной лаборатории. Для экспериментов использовали три разные платформы: колесного робота TurboBot 3 Burger, летательный аппарат с машущими крыльями и шестиногого робота Jethexa.

Результаты показали, что новый метод обеспечивает точность отслеживания заданной траектории, превышающую показатели существующих подходов на величину до 15%. Улучшение было зафиксировано как в ходе моделирования, так и во время физических испытаний.

Особое внимание исследователи уделили различиям между виртуальными моделями и реальными роботами. Например, в процессе обучения система может использовать модель робота массой 1 кг, тогда как фактическая масса устройства составляет 1,2 кг. Подобные расхождения влияют на реакцию оборудования на команды и точность его движений.

Результаты экспериментов показали, что CARL лучше справлялся с подобными неопределенностями, чем другие методы. Это свидетельствует о возможности применения данной технологии не только в компьютерных моделях, но и в реальных условиях.

Одним из потенциальных направлений использования разработки ученые называют борьбу с лесными пожарами. Роботы могли бы работать в опасных зонах, выявлять очаги возгорания, собирать информацию и доставлять спасателям необходимое снаряжение. При выполнении таких задач особенно важно, чтобы техника точно следовала маршруту и не совершала непредсказуемых движений.