Жесты — это один из самых простых и доступных интерфейсов для управления устройствами и сервисами. Такие системы развивают сейчас не только компании уровня Google и Apple, но десятки стартапов в самых разных отраслях: от медицины до безопасности. Расскажу об этом подробнее

О чем вообще речь

Жестовые интерфейсы позволяют пользователям управлять компьютерами и другими устройствами на основе движения пальцев, рук, мимики лица. Важно, что управление происходит бесконтактно и независимо от других способов управления (например, голоса).

Технология жестового управления только кажется современной разработкой — на самом деле первые разработки начались еще в 90-х годах прошлого века (правда, для отслеживания жестов требовалось носить специальные перчатки с датчиками).

Первый прорыв в консьюмерском распознавании жестов случился с выпуском игровой консоли Nintendo Wii в 2005 году (не зря говорят, что технологию нельзя считать настоящей, пока она не засветилась в гейм-индустрии или в индустрии порно). Позже Microsoft с Kinect развили эту нишу.

AI-проект Vicara предлагает «жестовую обвеску» для любых игр на основе собственный IMU-датчиков (а также любых устройств с поддержкой гироскопического позиционирования, в том числе смарт-часов).

Неудивительно, что жестовые интерфейсы — это огромный рынок, который достигнет 32,5 млрд долларов к 2025 году.

Яркий пример жестового интерфейса будущего представлен в фильме «Особое мнение» с Томом Крузом. При этом система управления не придумана с нуля — создатели фильма взяли за основу систему Luminous Room дизайнера Джона Андеркоффлера.

Как это работает

Для «снятия» жеста обычно используется пара камер, смещенных для стереоэффекта (реже — одна камера и дальномер). Иногда используют сразу много камер, особенно в важных системах (например, медицинских), а также инфракрасные сенсоры.

Реже используются методы зондирования электрических полей — в них положения рук определяются с помощью медленно меняющихся электрических полей. Чаще всего такие технологии используются в промышленной безопасности (например, для того, чтобы однозначно исключить опасность использования оборудования или станка для человека). 

Первый коммерческий прибор для слежения за рукой, Dataglove, использовал тонкие оптоволоконные кабели, проходящие по тыльной стороне каждой руки, в каждом из которых есть небольшая насечка. Когда пальцы сгибаются, свет просачивается сквозь эту насечку. Измерение потери света дает точное представление о позе руки. Аналогичная техника используется для носимых костюмов. Хотя перчатки обеспечивают точное измерение формы руки, они громоздки в ношении и подключаются через провода.

После изображение жеста передается системе на распознавание. Существует два подхода к распознаванию жестов на основе зрения.

Техника, основанная на модели. При такой модели нейросеть создает трехмерную модель руки пользователя. Некоторые системы отслеживают движение жеста через набор критических позиций. Когда жест проходит через те же критические позиции, что и сохраненный жест, система распознает его. Другие системы отслеживают перемещаемую часть тела, вычисляют характер движения, а затем определяют жест. Обычно системы делают это путем применения статистического моделирования к набору движений.

Методы на основе изображений. Методы, основанные на изображениях, определяют жест путем захвата изображений движений пользователя во время выполнения жеста. Система отправляет эти изображения в программное обеспечение компьютерного зрения, которое отслеживает их и идентифицирует жест. 

Эти методы обычно извлекают телесные оттенки из фоновых изображений, чтобы найти руки, а затем пытаются извлечь такие особенности, как кончики пальцев, края рук или общая геометрия руки для использования в распознавании жестов.

Важно отметить, что существует несколько видов жестов. В их числе:

• Смысловые. Например, это движения рук слабослышащих людей, которые общаются жестовым языком.

• Контекстуальные. К таким жестам относят движения в играх (например, взмах мечом) или жесты врачебных и промышленных систем.

• Естественные. Например, улыбка или нахмуренные брови.

В бытовых системах распознавания сложно однозначно идентифицировать жест. Поэтому активно применяют технологии искусственного интеллекта, которые обогащают данные. К примеру, помимо жеста учитывают также речь и даже тембр голоса.

Где сейчас применяются технологии распознавания жестов

Ритейл. Система на основе датчиков Kinect помогает покупателям примерить одежду на своего виртуального аватара, увидеть её в движении и выиграть небольшую скидку в интерактивной игре.

Управление. Небезызвестная компания Leap Motion представила контроллер для управления компьютерами на PC и Mac. Устройство размером с пульт дистанционного управления подключается в usb-порт и размещается перед ноутбуком. И дальше начинается магия (причем всего за 100 евро).

Медицина. Технологии распознавания жестов врачей позволяют им управлять малоинвазивными операциями с помощью жестов. До этого врачи использовали сложные контролеры, похожие на кибер-шприцы — они требовали высокой точности движений и требовали сотни часов на освоение.

Автомобили. Графический интерфейс Cadillac CUE позволяет владельцу автомобиля движением руки включить дворники или отрегулировать температуру в салоне.

Развлечения. Британцы из Seeper создают системы развлечений для управления жестами, которые можно использовать в торговых центрах. Заявляется, что с помощью жестов можно даже оплачивать покупки (интересно, что это за жест).