Привет, Хабр! Сегодня предлагаем поговорить о робототехнике. Сейчас эта отрасль развивается, причём очень активно, так что сложные роботизированные системы постепенно становятся всё более доступными. Если ранее с ними работали такие компании, как Boston Dynamics и другие «киты» робототехники, то сейчас возможность изучать современных роботов в России появилась у школьников и студентов.

На фестивале «Наука 0+» молодые ученые из МИСИС, Хорошколы и ИТМО при поддержке Центра робототехники Сбера представили свои разработки в области шагающих роботов и совместный проект - “Робот-Кот”. Куратором проекта выступил вице-президент, директор управления исследований и инноваций Сбербанка, заведующий кафедрой инженерной кибернетики МИСИС Альберт Ефимов. А также Центр робототехники Сбера совместно с ИТМО показали демо алгоритма автономного подъема и спуска четвероногого робота по лестнице с использованием зрения.

Робот-кот и управление жестами 

В рамках проекта, в котором приняли участие студенты МИСИС Владислав Чебыкин, Анастасия Халимова, Георгий Бондарь и Мария Торбик, мы разработали модель головы и хвоста робота-кота, сделав систему действительно похожей на животное. Также была разработана программа, которая анализирует видеопоток с камеры и распознаёт жесты оператора. Каждый жест ― сигнал роботу по выполнению определённой команды.

Цели и задачи проекта: 

• Обучение школьников и студентов современным технологиям робототехники и искусственного интеллекта;

• Развитие робототехнического сообщества;

• Передача компетенций и технологий Сбера через совместный проект;

• Приобщение молодёжи к науке.

Компоненты?

Сразу хотелось бы сказать, что мы использовали «железо» от китайской компании Unitree, а именно — модель Go1 для создания роботизированного кота, модель A1 для обучения робота-собаки подъёмам и спускам по лестнице. Команды разрабатывали ПО, аппаратное обеспечение мы не модифицировали. 

Почему для разработки своих программ и тестирования разных сценариев применения использовали платформу Unitree? Дело в том, что разработка собственной платформы и штучное изготовление будут стоить на несколько порядков дороже, чем покупка уже готовой системы в Китае. Пока что цель создать полностью собственного робота не стоит. Наша задача — расширить возможности таких роботов, в первую очередь за счёт более интеллектуального ПО.

Вендор этих моделей позволяет модифицировать программное обеспечение, никаких ограничений здесь нет. API открытое, так что мы писали свой софт, управляющий «железом», разрабатывали «мозги» робота.

Чему «научили» робота? В первую очередь понимать жесты, демонстрируемые оператором, и выполнять связанную с жестами команду. Любой желающий мог показать в веб-камеру жест руками ― робот его распознавал и выполнял команды:

• Один палец ― движение вперёд;

• Два пальца ― движение назад;

• Ладонь вправо ― поворот направо;

• Ладонь влево ― поворот налево.

К слову, научил робота понимать жесты молодой разработчик, школьник из Хорошколы Никита Жук. Программу, которую он создал, можно совершенствовать и дорабатывать. Если вам это интересно продолжить и развить, то мы можем для новых участников совместного проекта предоставить наработки в виде исходного кода и 3D моделей для печати.

Если вы или ваши знакомые хотите принять участие в совместных проектах с шагающими роботами под менторством специалистов из лаборатории робототехники Сбера, то нет никаких препятствий. Кто может присоединиться к команде?

• Школьники старших классов;

• Студенты;

• Аспиранты.

Необходимо наличие одного из навыков:

• Программирование на C++ или Python;

• Моделирование деталей и 3D-печать.

Вот ссылка на наше сообщество в телеграм.

Робот-собака и обучение передвижению по лестнице

Это второй проект, который мы показали. Он более сложный и специализированный, это совместная работа лаборатории «Биомехатроники и энергоэффективной робототехники» (BE2R Lab) Университета ИТМО и Центра робототехники Сбера. Задействованные технологии: планирование и управление движением четвероногих роботов в неструктурированных средах на основе теории оптимального управления и Reinforcement Learning, а также использование компьютерного зрения для перемещения по сложным поверхностям.  

В качестве примера мы выбрали задачу преодоления лестницы как наиболее широко распространённого препятствия в human-centered-окружении, представляющего значительные сложности для различных шагающих роботов.

Цели и задачи проекта: 

• Сделать четвероногих роботов более автономными; 

• Стимулировать совместные научные исследования ведущих робототехнических команд в России.

В рамках проекта мы разработали оригинальное программное обеспечение, включающее алгоритм управления движением ног для разных типов походок, а также программный интерфейс для настройки и управления роботом. Исследовательский интерес здесь представляют задачи улучшения точности и робастности работы алгоритмов одометрии и управления, повышения энергоэффективности перемещения, а также способы сенсорно-моторной координации с системой технического зрения при уменьшении нагрузки на встроенную вычислительную систему робота.

Потенциальное применение:

• Доставка небольших грузов;

• Мониторинг оборудования и инспекция в удалённых и опасных для человека местах;

• Развлечение и привлечение IT-специалистов на мероприятия.

В проекте принимают участие магистранты ИТМО. К слову, если вы планируете поступать в магистратуру и хотели бы стать частью команды проекта, то проблем нет. Для этого нужно связаться с профессором ИТМО Сергеем Алексеевичем Колюбиным по контактам, указанным на странице магистерской программы «Робототехника и искусственный интеллект». Она реализуется в корпоративном партнёрстве со Сбером.

В совместных научных исследованиях могут принять участие вузы, обладающие необходимыми компетенциями и наработками. Заявки можно писать в личные сообщения тут или в Telegram. 

Что ещё? 

Возможностей у роботизированных систем, подобных тем, что были задействованы нами, много. Так, четырёхногий робот может служить платформой для переноса полезной нагрузки в виде различных датчиков, позволяющих собирать информацию и выполнять картирование или полную трёхмерную реконструкцию окружения как на улице, так и внутри помещений.

Тут стоит вспомнить, что в последнее время стали популярны метавселенные. Поэтому лаборатория «Биомехатроники и энергоэффективной робототехники» (BE2R Lab) Университета ИТМО и Центра робототехники Сбера провели дополнительное совместное исследование алгоритмов и ПО для создания плотной 3D-реконструкции с использованием четвероногого робота. 

На базе результатов исследования разработана технология визуального робастного SLAM (одновременное построение карты и локализация на ней), для которой достаточно собирать данные с таких сенсоров, как камера и IMU, вместо дорогостоящих трёхмерных лидаров. Эта технология позволяет использовать нейросети для восстановления и улучшения карт глубины, выделения стационарных и подвижных объектов и семантического аннотирования окружения. По результатам были написаны и опубликованы несколько совместных научных статей. Вот ссылка на одну из них. 

Если вам интересны подобные проекты, задавайте вопросы в комментариях. Ну а связаться с представителями проектов можно одним из способов, указанных выше: это сообщение в Telegram сообщество и личные сообщения на Habr. Ждём всех заинтересованных ― учащихся школ и вузов, молодых учёных, разработчиков и команды исследователей.