Его намеренно толкали и тянули. Робот научился ходить по песку, гравию и мокрой траве
Двуногий гуманоидный робот уверенно преодолел песок, гравий, мокрую траву, склоны, лестницы и скользкие поверхности — причем ни с чем подобным он не сталкивался во время тренировок.
Секрет кроется в новом методе обучения, разработанном исследователями из Технологического института Джорджии, пишет Interesting Engineering.
Метод получил название «Learn to Teach» («Учись, обучая»). Он совершенствует популярный подход «учитель — ученик» в обучении с подкреплением: вместо того чтобы обучать сначала одну модель, а затем другую, оба «агента» тренируются одновременно. Результат — система управления роботом, способная справляться с незнакомым рельефом при значительно меньших затратах вычислительных ресурсов.
Роботу приходилось не только идти самостоятельно — во время испытаний исследователи толкали и тянули его. Каждый раз он менял походку, чтобы не потерять равновесие. Проект был представлен на конференции IEEE по робототехнике и автоматизации (ICRA), а сами авторы отмечают, что этот подход можно адаптировать и для других роботов и задач — не только для ходьбы.
В классической схеме «учитель — ученик» сначала создают модель-«учителя», имеющую доступ к детальным данным симуляции. Лишь после того, как учитель полностью обучен, его знания передают модели-«ученику», которая уже управляет реальным роботом.
По словам ведущего исследователя Фэйяна У, у такого подхода есть две серьезные проблемы. Во-первых, последовательное обучение занимает слишком много времени. Во-вторых, значительная часть информации, которую успел собрать учитель, просто пропадает впустую.
Обучение роботизированных контроллеров с помощью симуляции может потребовать часов вычислений на дорогостоящем графическом оборудовании, а это — и время, и немалые затраты. Одновременное обучение обеих моделей решает обе проблемы сразу.