Піддослідного штовхали і тягнули щосили навмисно. Американський людиноподібний робот навчився ходити по схилам, піску, гравію та мокрій траві (відео)
Двоногий гуманоїдний робот впевнено перетнув пісок, гравій, мокру траву, схили, сходи та слизькі поверхні — і жодну з них до цього не бачив під час тренувань. Секрет — у новому методі навчання, який розробили дослідники з Технологічного інституту Джорджії, передають Патріоти України з посиланням на Іnteresting Еngineering.
Метод отримав назву «Learn to Teach» («Навчайся, навчаючи»). Він удосконалює популярний підхід «вчитель-учень» у навчанні з підкріпленням — тільки замість того, щоб навчати спочатку одну модель, а потім іншу, обидва «агенти» тренуються одночасно. Результат — контролер робота, який упорається з незнайомим рельєфом, витрачаючи набагато менше обчислювальних ресурсів.
Роботу довелося не лише навчитися йти самостійно — дослідники ускладнили задачу - штовхаючи і тягнучи в сторону під час випробувань. Щоразу балансував, змінюючи ходу, щоб не втратити рівновагу. Проєкт представили на конференції IEEE з робототехніки та автоматизації (ICRA), а самі автори кажуть, що підхід можна адаптувати й для інших роботів та завдань, не лише ходьби.
У класичній схемі «вчитель-учень» спочатку створюють модель-«вчителя», яка має доступ до детальних даних симуляції. Лише коли вчитель повністю натренований, його знання передають моделі-«учню», яка вже керує реальним роботом.
За словами провідного дослідника Фейянга Ву, у такого підходу є дві серйозні проблеми. По-перше, послідовне навчання забирає забагато часу. По-друге, значна частина інформації, яку встиг зібрати вчитель, просто пропадає марно.
Тренування роботизованих контролерів через симуляцію може вимагати годин обчислень на дорогому графічному обладнанні — а це і час, і чималі гроші. Одночасне навчання обох моделей вирішує обидві проблеми одразу.