Глухой программист Алексей Приходько разработал систему, которая автоматически переводит язык жестов на русский язык. Технология позволяет управлять компьютером, не используя мышь. Работу над прототипом он закончил в начале августа.



Камера программы распознает картинку и фиксирует жесты, затем изображение переводится в модели и обрабатывается внутри системы. Система сопоставляет картинку с данными в нейронной сети, после чего компьютер выводит на монитор уже соответствующий жестам перевод, сообщается на сайте Новосибирского государственного технического университета.

По словам Алексея Приходько, на данный момент есть много компаний, которые заявляют о собственных разработках переводчика для глухих, и некоторые даже продают свои решения. Но, из-за специфики жестового языка, все они недостаточно качественные для пользования, говорит программист, который сам не слышит с детства.

«Savvy Motion, Kinect Sign Language Translator в Microsoft Research и другие крупные компании до сих пор не смогли реализовать полностью эту задачу перевода с жестового языка на звуковой язык, поэтому качество работы таких приложений оставляет желать лучшего», — говорит он.

Проблема связана с грамматикой языка жестов. Ни одна программа не может заменить живого переводчика, потому что перевод напрямую зависит не только от конфигурации и ориентации рук, но и от их движения, месторасположения и так называемого лингвистами немануального компонента жестов (выражение лица, движение губ и другие знаки артикуляции), сообщается на сайте вуза.

«С письменного языка на жестовый переводить не сложно. Технически тяжело распознать жесты и их перевести. Все зависит еще от того, какая камера и какие датчики. Существуют два способа распознавания жестов при помощи техники: безмаркерный и маркерный. Маркерная система — это когда у человека надеты специальные перчатки, приборы на запястья, браслеты и современные агрегаты, которые учитывают движение мышц и точки на корпусе человека.

Я пошел сложным путем, который не требует больших затрат на специальное оборудование для создания программы с маркерной системой. Моя программа безмаркерным методом распознает человека и его жесты при помощи камер», — отметил Алексей Приходько.

Безмаркерная система, созданная программистом, при помощи специальных камер накладывает виртуальную «сетку» на изображение. На ней программные алгоритмы находят опорные точки, по которым определяются жесты. Затем система обрабатывает данные и воспроизводит заданные действия: перевод или управление.

«Если модель определяет, например, что пальцы раскрыты — буква В, если пальцы собраны — О. Согнулся локоть или нет. В зависимости от этого формируется некая математическая модель, которая создается из скелетной модели. И соответственно каждым числам из этой модели присваивается система координат, и на экране мы видим, какой это жест», — сказал программист.

В данный момент прототип переводит на уровне азбуки глухих. К защите кандидатской диссертации Алексей Приходько намерен обучить систему другим компонентам грамматики жестового языка, чтобы создать из нее готовый продукт для массового внедрения и использования людьми с нарушением слуха. Для доработки прототипа программист ищет инвесторов.



Алексей Приходько — единственный в мире программист и эксперт по разработке системы для перевода жестового языка, сообщается на сайте Новосибирского государственного технического университета. Ранее он уже создавал технические решения для людей с нарушением слуха. В начале июля 2019 года он с командой создал проект для обучения глухих — «Жестовый интерфейс», в 2017 году – проект «Математика в тишине».

По данным Inc., ранее ученые из Калифорнийского университета в Сан-Диего разработали «умную» перчатку, которая автоматически переводит американский язык жестов (ASL) в текст на экране цифрового устройства. Стоимость гаджета не превысила 100 долларов.