24.11.2023 19:09
pin_code 0 29 Источник

Привет!

Меня зовут Рома, я проджект команды ПИН-КОД и это наша первая статья :)
Я хочу представить наш демо-стенд сервиса изучения русского жестового языка.

С чего всё началось?


В августе 2023 года мы выиграли хакатон от Сбера (https://кодгорода300.рф/), а после продолжили сотрудничать с командой "Центра развития технологий AI во благо общества, Sber AI " (Сбер AI Hub во благо общества).

На самом хакатоне мы делали переводчик русского жестового языка для видеоконференций (об этом статья будет чуть позже), а в рамках продолжения сотрудничества пилим сервис изучения РЖЯ.

Краткое описание идеи

В нашем сервисе будет 3 основных раздела — «Обучение», «Практика» и «Словарь».

«Обучение» — пользователь смотрит гифки с жестами, читает само слово/предложение текстом, запоминает, а потом решает небольшие задания, которые генерируются случайным образом. Т.е. сначала идет теория, а потом задания на запоминание.

Макеты раздела "Обучение"

«Практика» — тут как раз и используется модель распознавания РЖЯ. Пользователь читает слово/предложение текстом, а потом должен показать его на жестовом языке. Модель отрабатывает и в случае правильно показанного жеста, отмечает слово зеленым и даёт пройти далее.

Макеты раздела "Практика"

«Словарь» — пользователь сможет не только просматривать гифки с жестовым языком, но и потренироваться в показывании жестов.

Макеты раздела "Словарь"
Извините, но тут пока есть только старый макет :)
Извините, но тут пока есть только старый макет :)

Конечно, на всё это сверху накручиваем небольшую геймификацию: уровень, достижения, растущее дерево в разделе "Обучение" (которое будет увеличиваться от уровня).

По итогу, кажется, получаем неплохой сервис для изучения жестов, в довольно интересной форме. (Ждём критики в комментариях ????)

Что под "капотом"?

  1. Модель распознавания от команды Sber AI Hub во благо общества - её зарелизили в опенсорс буквально вчера, велком пробовать свои силы :) https://habr.com/ru/companies/sberbank/articles/775688/
    https://github.com/ai-forever/easy_sign

  2. В рамках хакатона мы написали python API на вебсокетах для передачи видео из браузера в модель распознавания. (flask-socketio)

  3. Фронт на TS React (Спасибо нашим золотым фронтам, которые сутками делают правки по стенду)

  4. Мощненький сервер от яндекс.клауд и nginx на нём :)

    На этом стэк демо-стенда заканчивается, но в полной версии еще присутствует:

  5. Бэк на С# .Net, Docker, Postgress.... (Об этом, думаю, будет еще одна статья)

Что готово сейчас?

Мы упорно готовились к выставке "Россия" на ВДНХ, но, к сожалению, не смогли туда попасть.

Однако, мы успели подготовить демо-стенд, чтобы кратенько показать возможности сервиса.
Сейчас этот тренажер доступен всем, нужно только иметь веб-камеру и нормальное интернет соединение.

Сервер с моделью распознавания будет включен до 27.11.2023, т.к. он стоит довольно дорого , а больших финансов у нас пока нет :(

Велком тестить и давать обратную связь :)

https://pincode-project.ru/

Что делать, если увидели статью после 27.11.2023, но потестить хочется?

  1. Скачиваете архив, распаковываете его https://drive.google.com/file/d/1RybUpTWK1BeJxiQ_0fExSH_07oagFwtD/view?usp=sharing

  2. При необходимости отключаем антивирус (если при запуске файл будет удаляться антивирусом)

  3. Открываем API_SLT.exe

  4. Автоматически открывается сайт https://pincode-project-localhost.netlify.app

  5. Тестируем

Распознавание работает только тогда, когда включен exe файл
Требования к ПК - вебка, процессор от 8 ядер :)

Наша команда

Рома Ахидов - проджект менеджер,
Костя Голунов - техлид бэка,
Даня Мухаметшин - бэк,
Макс Рожков - техлид фронта,
Ирина Туманова - фронт,
Люба Крашенинникова - дизайнер.

Мой контакт - https://t.me/roma_cheby, буду рад критике и предложениям!

Комментарии (0)