Для любого человека язык жестов сложен для изучения. Дело в том, что используются не только жесты, но и мимика, а также артикуляция, плюс «язык тела». Значение передаваемой информации зависит от всех этих факторов. Существуют программы для изучения языка жестов, но многие из них не слишком удачны, плюс ценник не всегда гуманный. В ближайшее время все может измениться — сейчас разрабатываются методы изучения языка жестов при помощи ИИ.

Речь идет об автоматизации процесса обучения, который полностью интуитивен. Здесь можно. ознакомиться с возможностями инструмента анализа языка жестов (шведско-немецкая группа) с предоставлением всех необходимых деталей. Тем не менее, разработчики надеются на создание ИИ-платформ, которые смогут помочь ускорить процесс обучения в разы.

ИИ использовался и используется для распознавания, перевода и интерпретации языка жестов. Но возможности таких проектов неполные, они не охватывают все аспекты. Разработчики новой системы планируют при помощи ИИ давать обучающемуся знать, что он делает не так и рассказывать, как это можно исправить.


Практика для языка жестов сложна, поскольку это не чтение и не письмо. Для обучения при помощи ПК разработчики создали компьютерную игру. Она постепенно обучает жестам, показывая, какой именно жест соответствует определенной букве или понятию. Далее игрок должен повторить этот жест, записав свои действия на камеру. Программа покажет, насколько успешным было повторение и что нужно сделать для того, чтобы улучшить результат. Кроме того, в такой игре есть социальное соревнование между участниками, что вовлекает пользователей в процесс.

Искусственный интеллект задействован на всех этапах обучения. Первым этапом является взаимодействие со сверточной нейросетью — она извлекает визуальную информацию по действиям пользователя из видео. Эти данные пересылаются следующему модулю оценки, который сравнивает результат с имеющимися в базе эталонами и выдает свою оценку.

Все это выполняется в понятной пользователю форме, понятно, что обучающийся не видит всего этого процесса. Он работает лишь с внешними проявлениями действий нейросети.

В скором будущем разработчики планируют создать системы, которые помогут и носителям других групп языков освоить язык жестов. Самое сложное здесь — обучение нейросети и запись роликов с демонстрацией каждого понятия и звука, это долго и на это нужно время.

Кроме того, систему обучат «понимать» мимику лица человека с привязкой к обучению языка жестов. На данный момент система оптимально работает в условиях классной комнаты. В дальнейшем разработчики планируют сделать приложение с ИИ более универсальным, чтобы его можно было использовать и на улице. Создатели платформы надеются, что их продукт можно будет использовать для обучения языку жестов для людей любого возраста.