Всем привет!
ФГАУ «Ресурсный центр универсального дизайна и реабилитационных технологий» и наша компания «Наносемантика» 7–9 декабря 2021 провели всероссийский хакатон по разработке решений с использованием искусственного интеллекта в сфере медицины. За три дня участники разработали программы-тренажёры для пациентов с нарушениями речи. За подробностями – добро пожаловать под кат.
Целью хакатона было решение важной для общества задачи – создание тренажёра-приложения для пациентов, страдающих дизартрией (тяжёлое расстройство речи, при котором человек не в состоянии изъясняться чётко и членораздельно).
Для участников была предусмотрен призовой фонд 500 тыс. рублей от "Наносемантики". Хакатон проходил в онлайн-формате, коммуникация велась в Telegram и Zoom.
Упор был сделан на создании тренажёра в виде веб-сайта или мобильного приложения, в его функционале основной задачей должна была стать помощь в реабилитации пациентов за счёт тренировки произношения отдельных звуков, слов и целых фраз. Использование такого тренажёра позволит людям проходить реабилитацию в том числе и дома, без обязательного присутствия в медицинском учреждении и даже в принципе без участия медицинского персонала.
В качестве отправной точки демонстрационного образца (baseline решение) организаторами был разработан простой прототип (доступен в Open Source) веб-сервиса с функциями распознавания речи через Vosk и захватом видео с веб-камеры для детекции губ.
Для решения поставленной задачи участникам было предложено использовать технологии, позволяющие анализировать движения лица и губ человека с веб-камеры (либо фронтальной камеры телефона) при помощи библиотек компьютерного зрения, в частности определять ключевые точки губ или сегментировать их, а также распознавать и затем анализировать речь в аудио, записываемого с микрофонов пользовательских устройств, при помощи одной из библиотек для распознавания речи, таких как Vosk, SOVA ASR, а также бесплатных облачных решений.
Принципиальным условием было размещение разработанных решений в открытом доступе.
Всего в соревновании приняли участие 14 команд, общее количество участников – 22 человека.
Состав участников оказался разнообразным, а география очень широкой – от Москвы и Санкт-Петербурга до Снежинска. Кроме того, хакатон получился интернациональным: помимо российских разработчиков, за победу боролся участник из Финляндии.
Участникам хакатона хватило времени для того, чтобы продемонстрировать жюри действительно интересные тренировочные приложения для людей с нарушением функции речи.
Результаты проектов оценивались судьями по следующим критериям:
Готовность прототипа
Решает ли тренажер задачу
Определение качества выполнения задания
Практическое применение прототипа
Удобство интерфейса
Геймификация
Презентация
По итогам оценки проектов победителем стала команда Bug Squashers (Суходолов Михаил Юрьевич, Ткачёв Игорь Юрьевич). Android-приложение, созданное командой, позволяет распознавать речь человека для выявления произнесённого текста, а также использовать компьютерное зрение. С помощью ключевых точек губ можно понять, что пользователь действительно старается произнести что-либо, даже когда на слух его попытки абсолютно не воспринимаются. Решение Bug Squashers получилось по-настоящему проработанным и комплексным. В приложении используется несколько уровней с упражнениями разной степени сложности, идёт набор очков опыта и уровней для стимулирования вовлечённости пациентов в процесс. Есть взрослый и детский режимы с разным оформлением интерфейса. Людям, страдающим дизартрией, предлагается прочитать буквы, слова или словосочетания (зависит от сложности задания). При этом фронтальная камера, используя Google ML Kit, фиксирует положение и движение губ человека и делает вывод о том, старается ли он произнести написанное на экране. В приложении применяется облачное распознавание речи от Google. В случае, если речь распознать не получается, но анализ видео показывает, что человек делает попытки произнесения, для него отображаются подсказки – попытаться говорить громче. Если в итоге пациенту сопутствует успех, на экране он видит красочную анимацию в виде салюта.
Второе место получила команда TrueWay (Попов Виталий Сергеевич) за разработку полноценного мобильного приложения с элементами геймификации. Стоит отдельно отметить, что продукт разработчиков, использующий тематику космоса, может стать отличным решением для детей, страдающих дизартрией. Дети отличаются от взрослых тем, что в первую очередь нам нужно завладеть их вниманием, а затем уже стараться принести им пользу. Именно поэтому игровая форма и привлекательный интерфейс – отличный способ побудить маленьких пациентов выполнять логопедические упражнения. Сложность заданий, как и в случае разработки Bug Squashers, варьируется от произнесения отдельных букв до целых словосочетаний. В приложении используется распознавание речи браузера, анализ видео не предусмотрен.
И третье место досталось команде DevRock (Сиваков Константин Русланович, Потапов Лев Сергеевич, Грицай Анастасия Геннадьевна). Разработчики подошли очень серьёзно к выполнению задания и консультировались со специалистом-логопедом. Продукт получился в первую очередь ориентированным на детей. Здесь также выбрана космическая тематика и стилистика. Проект отличает разнообразие медиаконтента, приложение похоже на интерактивный мультфильм. Задания включают произнесение букв/слов/словосочетаний. Команда взяла на вооружение движок распознавания речи SOVA ASR. Работа с видео не предполагается.
В целом каждая команда показала очень большой интерес к тематике хакатона и проявила энтузиазм, творческие способности при разработке своих приложений. Участники прониклись проблемой людей, страдающих недугом, о котором большинство из нас никогда не слышали ранее. Мы считаем, что именно это сочувствие помогло командам показать свои самые сильные стороны. Каждое решение было уникальным и интересным. При этом, на наш взгляд, очень важно, что все решения были выложены в открытый доступ и сообщество может их использовать абсолютно бесплатно – как медицинский персонал, так и сами пациенты.
Репозитории победителей, выложенные в открытый доступ: