Примеры лиц, которые использовались для управления мультикоптером во время экспериментов. В верхнем ряду показаны нейтральные лица, на которые машина не реагирует. В нижнем ряду — разные варианты гримас-триггеров, соответствующие команде «Старт». Две правые колонки — дистанционные фото с мультикоптера. Программа распознавания лиц успешно справляется с низким качеством изображения, распознавая лица на расстоянии до нескольких метров

Для управления БПЛА обычно используется или специализированный прибор, или специальная программа на смартфоне/планшете. Но в будущем для взаимодействия людей с роботами могут понадобиться более удобные интерфейсы. Студенты из лаборатории автономных систем Школы компьютерных наук Университета Саймона Фрейзера разработали экспериментальную программу для управления мультикоптером с помощью выражения лица. В принципе, ничего особо сложного в такой программе нет, но идея интересная.

Теоретически, такое управление может быть более интуитивно понятным, чем управление джойстиком или кнопками на планшете. Даже сейчас в некоторых ситуациях лицом управлять проще. Например, в эксперименте с забросом БПЛА по параболической траектории (а-ля заброс гранаты) действительно удобно направлять машину наклоном головы.


Параболические траектории БПЛА вычисляются в зависимости от направления лица оператора

Запускать беспилотник с помощью определённого выражения лица тоже удобнее, чем доставать пульт или открывать программу на планшете. Представьте: достаточно грозно нахмурить брови или надуть щёки, или сделать какое-то другое выражение лица — аппарат сразу взлетает и выполняет действия, на которые вы его запрограммировали заранее («заброс гранаты» или облёт цели).

Кроме более простого управления, здесь ещё и не нужно тратить деньги на контроллер, как в случае с некоторыми мультикоптерами. Лицо-то есть у каждого.


Два этапа обучения. Слева — обучение нейтральному выражению лица. Справа мультикоптер запоминает гримасу-триггер

Выражения лиц для управления могут быть произвольными. На предварительном этапе происходит обучение программы распознавания лиц. Она должна увидеть ваше нейтральное лицо — и гримасу для команды-триггера. Делается это следующим образом. Нужно поднять дрон на уровень глаз, поместить его в горизонтальное положение и придать лицу нейтральное выражение. Это выражение следует сохранять, пока робот не будет полностью удовлетворён. Обычно процедура занимает менее минуты. Затем дрон поворачивается на 90 градусов — а вы делаете гримасу-триггер, которая сильно отличается от вашего нейтрального выражения.


Затем наступает этап «прицеливания». После взлёта мультикоптер продолжает постоянно следить за выражением лица оператора с помощью видеокамеры. Даже если оператор попробует убежать — робот будет следовать за ним и следить за выражением лица. На этом этапе оператор обучает мультикоптер действию, которое тот будет выполнять по команде-триггеру. В данный момент реализовано три вида действий:

• Луч. Прямое движение по заданному азимуту и на заданной высоте. Расстояние определяется по размеру лица пользователя на этапе прицеливания. Здесь действует аналогия «натянутой тетивы» лука. Чем сильнее натянута тетива (чем дальше лицо) — тем большее энергия «выстрела».
• Праща. Движение по баллистической траектории. Может быть полезно, если оператор хочет отправить мультикоптер в зону потери прямой видимости, за препятствие, например, для фотосъёмки (см. видеоролик выше). Разработчики метко «забрасывали» робота на 45 м, но они говорят, что ничего не мешает забрасывать его на сотни метров. А если БПЛА может найти лицо цели после пика баллистической траектории, то два оператора могут «перебрасываться» роботом на расстоянии более километра.
• Бумеранг. Движение по окружности заданного радиуса с возвращением в исходную точку. Здесь параметры траектории задаются на этапе прицеливания вручную, в зависимости от угла поворота мультикоптера.

Студенты использовали квадрокоптер Parrot Bebop, немного модифицированный полоской светодиодов для визуального фидбека.


Результаты эксперимента «Луч». Пользователь, помеченный звёздочкой — эксперт (разработчик системы)

В экспериментах система показала себя на удивление хорошо. Участники должны были отправить дрона в обруч диаметром 0,8 м на расстоянии 8 м — и в абсолютном большинстве случаев справились с задачей.

В будущем, говорят авторы проекта, люди должны «взаимодействовать с роботами и приложениями ИИ так же естественно, как сейчас они взаимодействуют с другими людьми и обученными животными — как было описано в научной фантастике».

Они замечают, что гримасничанье с роботами забавно, и это может найти применение в приложениях для развлечения — а люди в будущем свыкнутся с мыслью, что с роботами очень весело.