Новая система робообразования: учатся через YouTube

Ученые создали алгоритм обучения роботизированных систем с помощью просмотра видео, на которых записано выполнение задач человеком. Таким образом, робот концентрируется на ключевых элементах информации, что позволяет использовать шаблонные навыки в схожих задачах.

Об этом сообщает NNews.

Что предполагает обучение роботов по видео

В прошлом году ученые изобрели алгоритм под названием WHIRL (in-the-Wild Human Imitating Robot Learning). Он предполагает обучение роботов по просмотру видео с действиями человека.

Доцент Института робототехники CMU Дипак Патак на этой неделе представил VRB (Vision-Robotics Bridge) — новую версию WHIRL, которая является эволюцией предыдущей модели. В этой системе, равно как и в ее предшественнике, используются видео с участием человека для демонстрации задач. Однако обновление уже не требует от пользователей настроек, идентичных тем, в которых будет работать робот.

Для изучения, например открытия ящиков, робот анализирует ключевые элементы информации, такие как точки контакта и траектории. В этом случае ручка выступает как точка контакта, а направление, в котором она открывается, является траекторией. Анализируя видео, робот может узнать, как открыть любой ящик.

Однако иногда даже у людей есть проблемы с открытием ящиков, требующих применения навыков определенного уровня. Поэтому для улучшения результатов работы важно иметь больший набор данных для обучения. Команда CMU использует видео из разных баз данных, таких как Epic Kitchens и Ego4D, где содержится практически 4 тыс. часов видео по разным повседневным делам.

Напомним, что американская компания Thermetrics создала первого в мире робота, который может дышать. Также этот робот может выделять пот и дрожать. Ученые создали такой экземпляр для более глубоких исследований человеческого организма.