С 23 по 27 октября в Киото на выставке IROS 2022 были представлены лучшие исследования в области робототехники. Кратко познакомимся с мероприятием, пройдемся по представленным достижениям и рассмотрим семь проектов, победивших в главных номинациях.

Что за выставка

IROS (International Conference on Intelligent Robots and Systems) — это ежегодная международная выставка в области робототехники. Основными спонсорами выступают IEEE Industrial Electronics Society (Общество промышленной электроники) и RSJ (Сообщество роботехники Японии). Крупнейшая в мире, наряду с выставкой ICRA (International Conference on Robotics and Automation).

Выставка проводится с 1988 года по всему миру — здесь можно посмотреть полный список городов-участников. В этом году в Киото состоялась юбилейная, 35-я выставка. На нее прислали 3358 научных работ в области робототехники и ИИ, из которых на конкурс допустили 1716 работ из 57 стран мира. Еще эта выставка в 2022 году примечательна тем, что она прошла в оффлайн режиме, в отличии от двух предыдущих, которые проводились онлайн из-за пандемии COVID-19.

Самые интересные проекты

С полным списком всех участников и мероприятий можете ознакомиться здесь. А мы пройдемся по семи победителям в основных номинациях.

1. Главная премия: обучение роботов складыванию одежды

Чей проект? Яхав Авигаль, Ларс Бершайд, Тамим Асфур, Торстен Крюгер и Кен Голдберг из Калифорнийского университета в Беркли и Технологического института Карлсруэ. 

В чем суть? Вообще проблема ровного, аккуратного складывания одежды — бич не только многих мужчин, но и роботов. Дело в том, что ткань — очень сложная субстанция, которая принимает какую угодно форму. Сами движения последовательны, но должны быть очень точными и предугадывать массу вариантов. Неловкая ошибка, и одежда снова мятая. Причем форма никогда не повторяется, системе каждый раз нужно анализировать состояние ткани и подстраиваться под нее — это отнимает много времени. 

Авторы работы предложили концепцию, которую назвали SpeedFolding. Алгоритм отрабатывался на базе робота ABB YuMi с двумя манипуляторами, на каждом — по три зажимных захвата (пальца). В качестве обратной связи используется две RGB-D камеры: одна оценивает изначальную конфигурацию одежды, а другая, с бОльшим углом обзора — помогает проложить маршрут движения манипуляторов при складывании разглаженной одежды. 

Суть алгоритма: есть некая база примитивных движений, которую получили на основе анализа 4300 примитивных движений человека. Нейронная сеть сканирует состояние одежды при помощи камеры, определяет точки захвата ткани и отправляет команду на манипуляторы из базы движений. После разглаживания ткани робот складывает ее по линиям сгиба, согласно предустановленной схеме. 

В результате робот способен менее чем за 120 секунд сложить одежду из любой начальной конфигурации с вероятностью 93%, не привязываясь к цвету одежды, типу ткани и так далее. Главной метрикой являлась скорость: предыдущие эксперименты достигали 3-6 складываний в час (FPH). Алгоритм SpeedFolding увеличил скорость до 30-40 FPH. 

Для удобства можете открыть видеопрезентацию в Яндекс Браузере, и нейросеть довольно сносно переведет речь докладчика. 

Другие номинанты

Мы специально оставили оригинальные названия работ, чтобы у вас не возникало путаницы при переводе терминов.

• FAR Planner: Fast, Attemptable Route Planner using Dynamic Visibility Update

• Learning-based Localizability Estimation for Robust LiDAR Localization

• Adversarial Motion Priors Make Good Substitutes for Complex Reward Functions

• Learning Visual Feedback Control for Dynamic Cloth Folding

• Characterization of Real-time Haptic Feedback from Multimodal Neural Network-based Force Estimates during Teleoperation

• RCareWorld: A Human-centric Simulation World for Caregiving Robots

• Design and Modeling of A Spring-Like Continuum Joint with Variable Pitch for Endoluminal Surgery

• Going In Blind: Object Motion Classification using Distributed Tactile Sensing for Safe Reaching in Clutter

• PCBot: a Minimalist Robot Designed for Swarm Applications

• PI-ARS: Accelerating Evolution-Learned Visual-Locomotion with Predictive Information Representations

2. Лучшая студенческая работа: робот быстро прокладывает маршрут в неизвестной области

Чей проект? Фан Ян, Чао Цао, Хунбяо Чжу, Джин О и Цзи Чжан из Университета Карнеги-Меллона и Харбинского технологического института. При поддержке ABB. 

В чем суть? Роботы, которые сами доставляют еду или выписывают штраф за неправильную парковку — уже не новость. Но они работают в «тепличных» условиях и так или иначе знакомы с маршрутами. А представьте, что в шахте произошел обвал, и нужно срочно доставить шахтерам еду и воду. Однако маршрут неизвестен — мы заранее не знаем, какие коридоры завалены и где можно пройти. Поэтому нужно как можно быстрее пройти маршрут, подстраиваясь под неизвестные условия. 

Студенты предложили метод на основе так называемых графов видимости, который до этого мало использовали в реальных задачах. В отличии от, например, метода привязки к сетке, который применяется в тех же домашних роботах-пылесосах. Там движение происходит маленькими шагами, а неизвестный маршрут в доме строится на основе проб и ошибок — поэтому при первой уборке робот тратит достаточно много времени. 

В предложенном методе робот сначала анализирует пространство и выделяет препятствия. Они становятся краевыми точками — вершинами, от которых строятся вариации многоугольников — ребер. Это и есть видимое пространство, в котором движется робот. Он не «пробует» препятствия, а заранее их выделяет и выбирает маршрут только в области многоугольников, в видимой области. А если по ходу движения появляются новые препятствия, то краевые точки перестраиваются — старые удаляются, новые становятся вершинами для следующих многоугольников. 

Однако перед студентами возникла проблема вычислительных ресурсов. Подробнее о том, как они ее решали — в видеообзоре.

3. Номинация в области когнитивной робототехники: жесты робота подстраиваются под речь

Чей проект? Паям Джоме Яздиан, Мо Чен и Анжелика Лим из Университета Саймона Фрейзера. 

В чем суть? Многие роботы выступают докладчиками на конференциях и даже формируют осмысленную речь буквально «на лету». Однако, по мнению авторов работы, речь роботов-докладчиков воспринималась бы намного лучше, если бы они жестикулировали, как и классные ораторы. 

Но все предыдущие попытки подобрать жесты под речь были неудачными. Когда нейронная сеть воспринимала аудиосигнал, она генерировала некий «усредненный» набор жестов, в процессе часто повторяющийся. Поэтому движения роботов выглядели неестественно и часто не соответствовали речи.  

Для решения проблемы авторы применили метод квантования. Очень кратко: на вход системы поступает аудиосигнал, который переводится в машинные символы. Каждому символу соответствуют некоторые наборы уместных жестов, которые получаются еще на этапе обучения системы через автокодировщик. Дальше в дело вступает квантователь, который из набора жестов формирует наиболее подходящую последовательность. И в конце декодер все это соотносит и выдает управляющий сигнал на манипуляторы: робот подстраивается под речь и разнообразно жестикулирует. 

Подробнее о том, как все работает и как оценивали результаты — в видео ниже (спойлер — все довольно сложно).

Другие номинанты

• Learning on the Job: Long-Term Behavioural Adaptation in Human-Robot Interactions

• Robotic Detection of a Human-Comprehensible Gestural Language for Underwater Multi-Human-Robot Collaboration

• Intuitive & Efficient Human-robot Collaboration via Real-time Approximate Bayesian Inference

4. Премия RoboCup Federation: робот для ухода за пожилыми и людьми с ограниченными возможностями

Чей проект? Руолин Е, Вэньцян Сюй, Хаоюань Фу, Раджат Кумар Дженамани, Ви Нгуен, Севу Лу, ​​Кэтрин Димитропуло и Тапомаюх Бхаттачарджи из Корнельского университета, Шанхайского университета Цзяо Тонг и Колумбийского университета.

В чем суть? В мире есть около 190 млн человек, которые имеют те или иные сложности с двигательной активностью. Роботизированный уход мог бы сильно упростить их жизнь, однако исследованиями в этой области занимаются всего несколько лабораторий по всему миру — опыт пока небольшой.

Авторы работы предлагают комплексный подход с учетом специфики ухода, который они назвали RCareWorld. Например, у многих людей с подобными сложностями наблюдается непроизвольное подергивание конечностей или головы. В процессе того, как робот их кормит, это нужно учитывать, чтобы не нанести травму. 

Другой пример — авторы изучили несколько десятков домов престарелых, разделили их на три категории по степени приспособленности для больных и заложили эти преднастройки в роботов. Допустим, нужно достать посуду из нижнего ящика. Как он открывается? На какой высоте расположена ручка? Куда потом положить грязную посуду? В общем, очень много тонкостей и нюансов.

Особенно впечатляет, что авторы все это тестируют на реальных людях и накапливают опыт. В будущем, по их мнению, это упростит многим компаниям выход на рынок роботов для ухода за больными. И следовательно, повысит конкуренцию и сделает эту услугу более доступной, чем сейчас.  

Другие номинанты:

• Hierarchical Reinforcement Learning for Precise Soccer Shooting Skills using a Quadrupedal Robot

• SpeedFolding: Learning Efficient Bimanual Folding of Garments

• Learning Visual Feedback Control for Dynamic Cloth Folding

5. Номинация в области роботизированных механизмов и дизайна: робот хватает объект на лету

Чей проект? Тони Чен, Кеннет Хоффманн, Джун Эн Лоу, Кейко Нагами, Дэвид Лентинк и Марк Куткоски из Стэнфордского и Вагенингенского университетов. При поддержке ROBOTIS.

В чем суть? В последние пару лет доставка товаров или продуктов при помощи квадрокоптеров набирает популярность. Однако есть достаточно неожиданная проблема, которой озаботились авторы работы — это захват объекта. Для того, чтобы доставка была как можно более эффективной, нужно сокращать любые простои. Например, отказаться от концепции, когда квадрокоптер сначала садится, а затем оператор неспешно прикрепляет к нему груз. Все это можно делать прямо на лету. 

Авторы работы провели исследование, в ходе которого определили конструкцию и так называемую область достаточной скорости. Другими словами, это максимально возможная скорость, при которой вероятность захвата остается высокой. Для этого построили математическую модель, в которой учитывали множество факторов: устойчивость дрона после контакта, связь с частотой вращения несущих винтов и прочее. 

Конструкционно захват представляет собой механическую систему, которая срабатывает не от сигнала датчика, а просто от механического контакта с объектом. Масса захвата составляла всего 22,7 грамма, а скорость срабатывания — 12 мс. Это позволяет быть уверенными в том, что при захвате «на лету» даже хрупкий груз не повредится. При этом это намного проще и надежнее, чем принудительный захват с помощью сервоприводов по сигналу датчика. 

На основе исследования провели эксперимент, который показал, что дрон с массой 550 г уверенно захватывает цель массой 85 грамм при скорости от 1 до 2,7 м/с. Вот как проводились расчеты и с какими сложностями столкнулись исследователи.

Другие номинанты:

• PCBot: a Minimalist Robot Designed for Swarm Applications

• 1-degree-of-freedom robotic gripper with infinite self-twist function

• Automated design of task specific additively manufacturable coupled serial chain mechanisms for tracing predefined planar trajectories

6. Номинация в области прикладного применения: робот-врач постукивает пациентов

Чей проект? Пилар Чжан Цю, Юнсюань Тан, Оливер Томпсон, Беннет Кобли и Тришанта Нанаяккара из Имперского колледжа Лондона. При поддержке ICROS.

В чем суть? Медицинская перкуссия — это обычная процедура ручного обследования, с помощью которой врачи определяют состояние внутренних органов. Для этого грудная клетка или брюшная полость простукиваются, и по разнице звуков можно понять, есть ли там воздух, жидкость, определить размер и даже форму какого-то органа и так далее. Это позволяет врачу быстро оценить, требуется ли более дорогостоящее исследование.

Однако метод очень субъективен. Ведь невозможно при каждом постукивании выбирать одинаковую силу, слышать каждый подозрительный шум из-за несовершенства человеческого слуха и так далее. Из-за этого даже опытные врачи могут ошибиться и пропустить опасное состояние пациента. 

Авторы предлагают заменить врачей на роботов, которые бы проводили выверенные простукивания с одинаковой силой, а также различали мельчайшие различия в высоте или частоте звука. Для этого они разработали устройство, полностью имитирующее движение клинициста при простукивании. А рядом на исследуемую область прикрепили контактный микрофон, анализирующий звук на частоте 44,1 кГц. Все результаты анализирует система на основе одномерного вейвлет-преобразования.

Эксперименты показали, что робот способен выявлять твердые узелки, например, липомы в брюшной полости, с вероятностью 97,5%.

Другие номинанты:

• Multi-directional Bicycle Robot for Bridge Inspection with Steel Defect Detection System

• Tactile-Sensitive NewtonianVAE for High-Accuracy Industrial Connector Insertion

7. Номинация в области развлечений: робот учится рисовать с помощью демонстраций

Чей проект? Пак Ёнхё, Чон Сынхун и Ли Тэюн из Сеульского национального университета, KAIST и Naver Labs

В чем суть? Многие всегда считали, что роботы не способны написать поэму, сочинить симфонию или изобразить пейзаж. Однако авторы работы с этим не согласны и считают, что навыки художника — это набор приобретенных умений. Ведь выдающиеся художники порой обучались своему искусству годами, прежде чем рисовали шедевры.

Любой мазок кисти или движение карандаша подчиняется единому плану — высокоуровневой модели, что хочет художник получить в итоге. А дальше все это реализуется на низком уровне, когда мозг посылает команду в руку, совершающую отточенное практикой движение. Разве это не напоминает сложную программную модель управления, которую можно реализовать?

Авторы сначала изучили разные комбинации движений художников. То есть люди выступили наставниками робота, давая ему некоторый арсенал умений, который он потом сможет использовать. Для этого использовали цифровой холст и ручку с несколькими датчиками, которые фиксировали угол наклона, силу нажима и траекторию движения. В процессе обучения зафиксировали около 5000 штрихов разной ширины, формы и стилей, нарисованных в разных частях холста. 

После этого робот раскладывает изображение на составляющие в виде штрихов (авторы называют их Robotic Painting Skills, сокр. RPS) и воспроизводит их в нужной последовательности. Правда, это чересчур упрощенное объяснение — лучше посмотрите описание математического моделирования в видео.

 Другие номинанты:

• The Wheelbot: A Jumping Reaction Wheel Unicycle

• Robot Dance Generation with Music Based Trajectory Optimization

Бонус 1: конкурс Dialogue Robot Competition

Ну раз уж разработчики роботов стремятся сделать роботов как можно более похожими на людей — почему бы не устроить между ними конкурс? Победителем стала команда университета Нагоя, создавшая робота-турагента. Просто посмотрите, как это выглядит. Похоже, что фильм «Двухсотлетний человек» становится все более реалистичным. 

Бонус 2: робот, который не проливает напитки

Думаем, что любого бесит момент, когда вы налили слишком много горячего чая или кофе на кухне, а потом несете его к телевизору. И благополучно выливаете часть на пол, себя, кота или жену, с вытекающими последствиями в виде криков и мата. 

Авторы работы придумали робота, который не прольет жидкость, даже если она налита, как говорится, «с мениском». Изначально идея была в том, чтобы помочь пожилым людям, которые испытывают тремор. Но кажется, что во многих барах мира это также нашло бы свое применение. 

Делитесь в комментариях, какая работа вам понравилась больше всего и чего стоит ждать от следующий выставки IROS 2023, которая пройдет в городе Детройт.

НЛО прилетело и оставило здесь промокод для читателей нашего блога:

— 15% на все тарифы VDS (кроме тарифа Прогрев) — HABRFIRSTVDS.