Привет!
Меня зовут Рома, я проджект команды ПИН-КОД и это наша первая статья :)
Я хочу представить наш демо-стенд сервиса изучения русского жестового языка.
С чего всё началось?
В августе 2023 года мы выиграли хакатон от Сбера (https://кодгорода300.рф/), а после продолжили сотрудничать с командой "Центра развития технологий AI во благо общества, Sber AI " (Сбер AI Hub во благо общества).
На самом хакатоне мы делали переводчик русского жестового языка для видеоконференций (об этом статья будет чуть позже), а в рамках продолжения сотрудничества пилим сервис изучения РЖЯ.
Краткое описание идеи
В нашем сервисе будет 3 основных раздела — «Обучение», «Практика» и «Словарь».
«Обучение» — пользователь смотрит гифки с жестами, читает само слово/предложение текстом, запоминает, а потом решает небольшие задания, которые генерируются случайным образом. Т.е. сначала идет теория, а потом задания на запоминание.
Макеты раздела "Обучение"
«Практика» — тут как раз и используется модель распознавания РЖЯ. Пользователь читает слово/предложение текстом, а потом должен показать его на жестовом языке. Модель отрабатывает и в случае правильно показанного жеста, отмечает слово зеленым и даёт пройти далее.
Макеты раздела "Практика"
«Словарь» — пользователь сможет не только просматривать гифки с жестовым языком, но и потренироваться в показывании жестов.
Макеты раздела "Словарь"
Конечно, на всё это сверху накручиваем небольшую геймификацию: уровень, достижения, растущее дерево в разделе "Обучение" (которое будет увеличиваться от уровня).
По итогу, кажется, получаем неплохой сервис для изучения жестов, в довольно интересной форме. (Ждём критики в комментариях ????)
Что под "капотом"?
Модель распознавания от команды Sber AI Hub во благо общества - её зарелизили в опенсорс буквально вчера, велком пробовать свои силы :) https://habr.com/ru/companies/sberbank/articles/775688/
https://github.com/ai-forever/easy_signВ рамках хакатона мы написали python API на вебсокетах для передачи видео из браузера в модель распознавания. (flask-socketio)
Фронт на TS React (Спасибо нашим золотым фронтам, которые сутками делают правки по стенду)
Мощненький сервер от яндекс.клауд и nginx на нём :)
На этом стэк демо-стенда заканчивается, но в полной версии еще присутствует:Бэк на С# .Net, Docker, Postgress.... (Об этом, думаю, будет еще одна статья)
Что готово сейчас?
Мы упорно готовились к выставке "Россия" на ВДНХ, но, к сожалению, не смогли туда попасть.
Однако, мы успели подготовить демо-стенд, чтобы кратенько показать возможности сервиса.
Сейчас этот тренажер доступен всем, нужно только иметь веб-камеру и нормальное интернет соединение.
Сервер с моделью распознавания будет включен до 27.11.2023, т.к. он стоит довольно дорого , а больших финансов у нас пока нет :(
Велком тестить и давать обратную связь :)
https://pincode-project.ru/
Что делать, если увидели статью после 27.11.2023, но потестить хочется?
Скачиваете архив, распаковываете его https://drive.google.com/file/d/1RybUpTWK1BeJxiQ_0fExSH_07oagFwtD/view?usp=sharing
При необходимости отключаем антивирус (если при запуске файл будет удаляться антивирусом)
Открываем API_SLT.exe
Автоматически открывается сайт https://pincode-project-localhost.netlify.app
Тестируем
Распознавание работает только тогда, когда включен exe файл
Требования к ПК - вебка, процессор от 8 ядер :)
Наша команда
Рома Ахидов - проджект менеджер,
Костя Голунов - техлид бэка,
Даня Мухаметшин - бэк,
Макс Рожков - техлид фронта,
Ирина Туманова - фронт,
Люба Крашенинникова - дизайнер.
Мой контакт - https://t.me/roma_cheby, буду рад критике и предложениям!