Провел в мае учебный курс для студентов ИТМО по Robot Operating System. Экзаменационным заданием было соревнование AutoRace, Visual SLAM и алгоритм походки четвероногого робота.

В видео презентация выпускников курса про совместные исследования ИТМО с лабораторией робототехники Сбер по разработке алгоритма походки четвероногого робота собаки.

Давно занимаясь робототехникой и программированием, понял что для меня важно отдавать другим накопленные знания и опыт. А в идеале выстроить поток так чтобы это распространялось как самоподдерживающаяся волна. В рамках этой идеи веду ROS сообщество на русском языке и периодически преподаю в разных университетах, сделал учебную программу по ROS в Школе 21 и скоро выйдет курс в Edutoria.

Есть такой метод Фейнмана: "как по-настоящему выучить что угодно и никогда не забыть", который заключается в том, чтобы объяснить тему другому человеку, далекому от этого предмета. В целом как то и раньше к этому интуитивно пришел, но когда видный ученый подтверждает эту теорию, понимаешь что это правильный путь. Поэтому самые главные знания пытаюсь передать в виде курсов, статей, докладов. Только по обратной связи от студентов и слушателей можно понять что действительно разобрался в теме.

В прошлом году ко мне обратился Колюбин Сергей Алексеевич Доктор технических наук профессор факультета систем управления и робототехники Университета ИТМО с предложением провести учебный курс по ROS в ИТМО. Мы уже ведем с ним совместную научную деятельность с несколькими группами студентов, поэтому идея о проведении курса с передачей практического опыта полученного в Лаборатории робототехники Сбер хорошо ложилась в общую работу. Так началась работа по доработке курса по ROS для студентов ИТМО.

Раньше я преподавал ROS курс для студентов МИСИС и собрал обратную связь от них и тестеров Школы 21. Замотивировать, заинтересовать, удержать внимание, сделать так чтобы студенты дошли до конца, смогли использовать знания в будущем, скажу я вам не такая простая задача как кажется. Современное поколение молодежи и похоже и непохоже на те годы когда я сам учился в университете. Главное отличие эффект золотой рыбки, неспособность самостоятельно держать в долгую фокус внимания и осваивать длинные знания, с этим нужно работать. Пару идей у меня по решению этого вопроса  родилось в последние дни курса.

Для будущих студентов и инженеров, стоит ответить на вопрос: почему на этот курс стоит пойти? чем он лучше других курсов по робототехнике?

В курсе собран мой опыт разработки более 5ти роботов в Лаборатории робототехнике Сбер, рассказываю про самые современные технологии которые есть только в научных статьях и еще не описаны в книгах. Студенты которые проходили у меня стажировку успешно работают в Лаборатории робототехнике Сбер, СТК и других ведущих робототехнических компаниях. Программа курса содержит наиболее востребованные темы по робототехнике которые получилось впихнуть в отведенное время. Квалификационным заданием является соревнование в Gazebo, а не письменный экзамен.

Темы курса которые были затронуты по программе:

  • История ROS.

  • Робототехнические компании использующие ROS.

  • Российское ROS сообщество.

  • Рабочее пространство Catkin.

  • Коммуникации Topic. Написание простого Publisher и Subscriber.

  • Продвинутые способы коммуникации: Service, Action.

  • Преобразование координат в роботе TF2.

  • Создание модели робота для визуализации и симуляции в Gazebo.

  • Симуляция сенсоров в Gazebo.

  • Соревнование по поиску выхода из лабиринта.

  • Одновременное построение карты и локализация робота.

  • Навигация и планирование пути робота.

  • Манипулятор и захват объектов с программой MoveIt.

  • Машинное зрение в робототехнике. Visual SLAM.

  • Поведение роботов: машина состояния и деревья поведения.

  • Соревнование AutoRace.

Часть из вводной лекции:

В конце устроил соревнования в симуляторе Gazebo на основе AutoRace. Студенты разбились на команды по 2-3 человека и в течениии курса разрабатывали свой ROS пакет управления роботом для победы в соревновании. 

Студенты ИТМО могут участвовать в совместных исследованиях с Лабораторией робототехники Сбер. В рамках которых они могут приезжать в Лабораторию робототехники Сбер, пользоваться роботом собакой, роботом курьером и различными сенсорами в лаборатории. У каждой рабочей группы есть наставник из лаборатории и они могут обращаться к другим сотрудникам с вопросами. Вот пример совместных научных статей со мной:

НАУЧНО-ТЕХНИЧЕСКИЙ ЖУРНАЛ «Известия высших учебных заведений. Приборостроение»:

ОПТИМИЗАЦИОННЫЕ АЛГОРИТМЫ ПОВЫШЕНИЯ ТОЧНОСТИ И РОБАСТНОСТИ ВИЗУАЛЬНОЙ ОДОМЕТРИИ НАЗЕМНЫХ МОБИЛЬНЫХ РОБОТОВ

Махмуд Ж. ., Выонг Х. Т., Бурков А. М., Колюбин С. А.

МЕТРИКО-СЕМАНТИЧЕСКОЕ КАРТИРОВАНИЕ НА ОСНОВЕ ГЛУБОКИХ НЕЙРОННЫХ СЕТЕЙ ДЛЯ СИСТЕМ АВТОНОМНОЙ НАВИГАЦИИ В ПОМЕЩЕНИЯХ

Беркаев А. Р., Мохрат М., Бурков А. М., Колюбин С. А.

Если вам интересны подобные курсы, соревнования и совместные исследования то предлагаю обсудить в нашем чате ROS сообщества.

Попасть на факультет по робототехнике в ИТМО [ссылка удалена модератором].

Выражаю благодарность за возможность проведения курса Сергею Колюбину из ИТМО и Алексею Гонноченко из Лаборатории робототехники Сбер.

Комментарии (5)


  1. Alex_ME
    31.05.2022 13:56

    Подскажите, какой алгоритм/реализацию и набор датчиков использовали для Visual SLAM?


    1. AmigoRRR Автор
      31.05.2022 14:16
      +1

      Вообще пробовали все. Основной стерео камера с imu, сейчас идут эксперименты с добавлением лидара.


      1. Alex_ME
        31.05.2022 14:41

        Можете поделиться знаниями или точкой входа в существующие актуальные алгоритмы/реализации SLAM? В университете хотим испытать и сравнить различные SLAM'ы для использования на небольшой автономной машинке.

        • По Visual SLAM я знаю (и пробовал) родной софт zed-камеры и (в меньшей степени) ORB-SLAM2. ZED хорошо работает на небольших расстояниях (в пределах комнаты), но на бОльших расстояниях (большое помещение, улица) очень часто неправильно определяет углы поворота по yaw и весь трек уплывает.

        • Лидарами тоже интересуюсь ("игрался" с Velodyne VLP-16). Тестировали известный SLAM LOAM и его модификацию LeGO-LOAM.

        Из какого-то списка SLAM'ов со сравнениями знаю только бенчмарк KITTI.

        З.Ы. А, я невнимательный. Вы в этой статье привели пару публикаций по SLAM'ам.


        1. malyazin_2010
          01.06.2022 20:43

          Рабочий диапазон стереокамер зависит от расстояния между их камерами. У ZED baseline около 15 см, значит рабочий диапазон до 15-20 метров примерно.

          У некоторых дронов расстояние между камер больше, поэтому они видят дальше.

          Так видит пространство стереокамерный дрон skydio R1
          Так видит пространство стереокамерный дрон skydio R1


  1. SnakeSolid
    31.05.2022 20:06

    Вопрос немного не в тему, но, возможно вы сможете на него ответить. Почему большинство роботов с четырьмя ногами (типа Spot-а) балансирует на двух ногах стоя на месте или при медленном движении? Логически походка в стиле четвероногих животных (когда стоят три ноги) будет стабильнее и экономичнее на небольших скоростях, а так же позволит проще преодолевать препятствия.