Наверняка каждый из нас был бы рад знать как можно больше иностранных языков. Помимо обучающей литературы, онлайн курсов и уроков, существует достаточно много технологий, устройств и приложений, которые этому всячески способствуют. Большинство разработок направлено на изучение устной речи и грамматики, в то время, как в мире живут миллионы людей, что используют для повседневного общения язык жестов. И вот овладеть таким языком бывает гораздо сложнее, чем иностранным.

Впрочем, такой дисбаланс обычно предшествует прогрессу. Столь многогранная ниша не могла долго оставаться свободной. И занять ее решили двое студентов Вашингтонского университета — Томас Прайор (Thomas Pryor) и Навид Азоди (Navid Azodi). Они придумали способ, делающий язык жестов более доступным для понимания другими. Юные изобретатели разработали систему, обеспечивающую возможность переводить «жестовую» речь в обычную устную.



Ребята создали продвинутые технологические перчатки SignAloud, состоящие из различных датчиков, отслеживающих малейшие движения пальцев, запястья и рук, имеющие беспроводной интерфейс Bluetooth для передачи собранных данных на ПК и специального программного обеспечения. Перчатки способны улавливать малейшие движения рук пользователя, считывать в движениях знаки языка жестов и после расшифровки полученных данных, преобразовывать их в устную речь посредством специального синтезатора.



Конечно же, устройство может быть эффективно использовано и когда нет возможности услышать полученный перевод – знаки языка жестов конвертируются в письменный текст. По Bluetooth перчатки пересылают информацию о жестах к центральному компьютеру, где с помощью статистической обработки данных решается, какое именно слово было «произнесено» в жесте. Анализ данных производится на основе обработки последовательной статистической регрессии.



ИТ-сообщество приняло создателей SignAloud, как настоящих технологических гениев. Перчатки были изобретены в рамках конкурса Lemelson-MIT Student Prize (2016 год) и конечно же принесли победу своим авторам. В результате ребята получили грант в размере $10 000 на дальнейшее продолжение усовершенствование и производства продукта.

Навид Азоди акцентирует внимание на том, что на данный момент в мире живет около 70 миллионов глухонемых людей, ежедневно использующих язык жестов. А ведь это многочисленная группа (к слову сказать, превышающая население Франции), которая рассеяна между людьми без подобных функциональных ограничений. И вопрос их постоянной коммуникации с остальными, является более чем актуальным, что, в свою очередь, ставит перед устройством дополнительные требования. Перчатки должны быть еще более комфортные, компактные и приспособленные к различным условиям эксплуатации.



Насчет внедрения устройства в повседневную жизнь Томас Прайор отмечает следующее:

Наши перчатки легкие, компактные и вполне эргономичные, чтобы их использовали как ежедневный аксессуар, подобно тому как используют слуховой аппарат или контактные линзы.

Конечно, на рынке существуют и другие устройства для перевода языка жестов, но действительно практичные продукты – большая редкость. Успех SignAloud заключается в легком и незамедлительном переводе языка жестов в устную речь. Сами перчатки не громоздкие, техническое устройство тоже не большое. Правда внешний вид SignAloud может показаться несколько несуразным (если только Вы не в костюме супергероя), но разработчики уже начали работать над более повседневным и приятным дизайном.



Перевод языка жестов – это само по себе впечатляющее достижение. Но создатели SignAloud не останавливаются на достигнутом. Они считают, что данная технология будет использоваться для успешных разработок в широком спектре других задач. Будет ли это медицинская сфера или виртуальная реальность — не известно. Но Прайор и Азоди надеются решительно изменить мир к лучшему.



На видео представлена работа демо-версии перчаток в исполнении их создателей.

На данный момент разработка существует только в виде прототипа и когда перчатки поступят в продажу остается загадкой. Кроме того перевод осуществляется пока только на английский язык.
Вот что говорит по-этому поводу Навид Азоди:

Имейте в виду, мы не зафиксировали все языки. До этого еще далеко. Английский язык — это нечто большее, чем простой набор слов или определенных фраз. И мы это прекрасно понимаем. Язык наполнен различными сложными грамматическими структурами. Чего хочется добиться в конечном результате? Дать возможность перчаткам SignAloud распознавать и обрабатывать большую часть языка жестов.

Друзья изобрели свои перчатки на территории студенческого кампуса, где они сейчас проживают. А работают юные дарования в общине для студентов-разработчиков CoMotion.