Программисты из Вашингтонского университета разработали программную систему FingerIO, позволяющую превратить практически любой смартфон или умные часы, оснащенные динамиком и микрофонами, в сонар, способный отслеживать жесты. Эта система облегчает управление устройствами с небольшим экраном и может привести к появлению новых, неожиданных возможностей во взаимодействии с гаджетами.
Благодаря тому, что звуковые волны могут проходить сквозь ткань, управлять устройством при помощи жестов можно даже, если оно расположено в кармане, или скрыто рукавом одежды. Система испускает звуковые волны при помощи динамика и обрабатывает отражённый от пальцев звук, приходящий через два микрофона.
Для обеспечения точности измерений положения пальцев с приемлемым разрешением, инженеры используют систему под названием мультиплексирование с ортогональным частотным разделением каналов (OFDM). Это цифровая схема модуляции, использующая большое количество близко расположенных ортогональных поднесущих. Она используется в ADSL, цифровом кабельном телевидении и т.п.
Разработчики утверждают, что на стандартном Samsung Galaxy S4 под управлением Android при отслеживании движений пальцев на плоскости удаётся достичь точности в 8 мм. Разработанный инженерами прототип умных часов с поддержкой этой технологии смог отслеживать движения пальцев на расстоянии до полуметра от устройства с точностью до 12 мм.
Как поясняет один из создателей технологии, дисплеи смартфона, а тем более умных часов, не слишком хорошо подходят для набора текстов или рисования, поэтому разработчики хотели сделать так, чтобы любая плоская поверхность,- например, поверхность стола,- могла стать полем для ввода информации.
В планах разработчиков – распознавание движений нескольких пальцев и распознавание жестов в трёхмерном пространстве через добавление дополнительных микрофонов.
Комментарии (19)
anmipo
16.03.2016 11:57Американские инженеры придумали, как распознавать жесты при помощи динамика и микрофонов
Учёные же, не инженеры.vedenin1980
16.03.2016 12:45А почему учёные, а не инженеры? Вроде бы, эколокации давно открыта, то есть задача её использования более инженерная чем научная. Там даже в оригинале «computer scientists и electrical engineers», при том что computer scientists на русский переводится скорее как программисты, чем учёные (наш диплом программиста переводится на английский как бакалавр или магистр в computer scientists).
anmipo
16.03.2016 13:04-1Во-первых, потому что университет.
Во-вторых, потому что в оригинале в авторах два аспиранта и два профессора.
Наконец, computer science — просто название области. Есть ещё степени: бакалавра, магистра, кандидата и доктора наук — и вряд ли стоит их всех объединять словом "программист".vedenin1980
17.03.2016 12:25Видимо у нас разное понимание что есть ученый и что инженер, ну вот, к примеру, я на работе разрабатываю нейронную сеть — я инженер, так? А если я проучился лишний год-два, получил Ph.D. и разрабатываю ровно ту же нейронную сеть (причем по заказу той же организации) в Университете (на Западе это в порядке вещей) — я уже ученый? И в чем тогда разница, если специалист тоже и работа та же?
anmipo
17.03.2016 21:50Разница, кроме прочего, в целях и результатах.
Цель инженера — разработать некий продукт, скажем, аппарат для сепуления сепулек. Нейронная сеть будет компонентом этого продукта. Результат работы — проектная документация, программный код, конечный продукт.
Цель учёного — проверить гипотезу, например, возможно ли автоматически распознавать сепулек по фотографии. Нейронная сеть здесь будет инструментом (одним из нескольких). Результат работы — знания (возможно/невозможно), иногда ещё и демо-прототип.
Эхолокация известна давно, но применить её в таком виде для взаимодествия с устройствами никто до этих ребят не догадался (или догадался, но не осилил). Они предположили, что такое может быть осуществимо, и доказали это, попутно разработав подходящий метод и сделав прототип.
По их публикации такое легко смогут повторить инженеры. Без их публикации инженеры даже не подумали бы, что такое возможно.vedenin1980
17.03.2016 23:46Нее, ещё в 13 году норвежцы сделали прототип устройство на эхолокации, фишка из статьи в попытки делать эхолокацию с помощью стандартного динамика и микрофонов (скорее всего безуспешной). Вообще, есть такое слово конструкторы, конструкторы — инженеры, но их задачей именно создавать абсолютно новые устройства, ученые это все-таки больше теоретики, сначала построить мат.модель, доказать её состоятельность и т.п…
anmipo
17.03.2016 23:55скорее всего безуспешной
Эм, это Вы их так мимоходом в фальсификации обвиняете?vedenin1980
18.03.2016 00:19Нет, я имел в виду безуспешной для реального практического применения, в некоторых идеальных условиях, если двигать рукой медленно и печально, как на видео — да, это скорее всего работает, сомнительно что с обычным микрофоном и динамики им удастся добиться приемлемого качества в полевых условиях и при более-менее быстром «наборе» цифр.
dTex
16.03.2016 12:24мaгия чистейшей воды. Потанцевал — набрал номер, еще потанцевал написал sms
alexisneverlate
16.03.2016 12:40Индийцы будут счастливы. :)
Кстати, танец, в основе своей и есть некое сообщение или история — особенно классический индийский, которым пересказывали священные писания и всякое такое прочее.
nagvv
16.03.2016 14:42Как с помощю двух микрофонов можно определить положение предмета в пространстве? Разве для достаточно точного определения не нужно минимум 4 микрофона? А для плоскости три. Ведь 2 микрофона дадут определить положение предмета только в одной оси. Или там какая то техномагия с частотами и длинами волн?
punzik
16.03.2016 14:43Судя по документу на сайте (и исходя из здравого смысла) для определения положения пальца в двух плоскостях нужны два микрофона. Кроме того, нужен еще приличный стереобазис, т.е. микрофон шумоподавления в некоторых смартфонах не подойдет.
А видео вообще попахивает надувательством.SpiritSound
16.03.2016 22:32У меня знакомые, когда я учился в колледже, делали такую систему на ноутбуке.
Основная проблема была в том, что музыканты с хорошим слухом слышали эти частоты и говорили даже, что болела голова.Klukonin
17.03.2016 11:21Тише, Тише, сейчас сюда набегут знатоки и скажут что все это ложь, музыкнты испытывали все под воздействием самовнушения и никто не слышит выше 18 кГц.
tormozedison
Действительно, наилучшие решения — это те, которые не требуют дополнительных аппаратных средств, а используют в необычном качестве уже имеющиеся.
TerraV
Вопрос не столько в возможности, сколько в удобстве. То что видно на видео, не юзабельно от слова совсем. Микроскоп можно использовать и как телескоп и как молоток. Но это неудобно и неэффективно. Если даже такие специализированные устройства как Microsoft Kinect и Leap Motion имеют проблемы с точностью распознавания, то стандартное оборудование для голосовой коммуникации для ориентирования в 3д выглядит просто тупиковым proof of concept.
Murmurianez
Далеко не факт что это изобретение относится к наилучшим решениям — вот вам подобная штука, только чуть попроще, в виде расширения для Chrome https://chrome.google.com/webstore/detail/audioscroll-extension/nknlpaccngmmdfjcbjkccfmoimehdeli Чтобы из динамика на микрофон звук передать — пищит противно, думаю — тут та же фигня.