- Мне 17 лет
- ДЦП — у меня самопроизвольно сокращаются мышцы тела… Все
- Неразборчивая речь. Понимают только мама, брат и одноклассница
- Node.js, Java, Android dev, Unity3d
- Выступал на гуманитарном саммите ООН с посланием о правах человека с нарушениями речи и важности AAC
AAC
ААС (Альтернативная Аугментативная Коммуникация) – средства, способы, системы, которые помогают детям и взрослым с серьёзными проблемами в развитии вербальной речи выразить себя и лучше понимать происходящее.
Как всё началось. DisQwerty
У нас в школе есть группа продлённого дня. Там я и познакомился с девочкой Линой, она запала мне в душу. Однажды я увидел, как она общается с ассистентом, когда делает упражнения по математике (у Лины была папка с листами, на листах было напечатано по одной цифре от 0 до 9, на нужной цифре Лина кивала) и решил перенести этот механизм общения в код, заменив ассистента компьютером с кнопкой.
Лина. Автор: Леша Костромин
Перенёс. Код тогда умел только на js писать, к сожалению. Поэтому выглядела программа забавно. Но получилось! Я принёс эту клавиатуру к Лине в класс. После внесения некоторых изменений (переход на Node-webkit, добавление возможности создавать свои наборы, т.е. учитель может опросить детей в классе, дав им на выбор 4 варианта). Ещё я создал игру в Unity для обучения такому механизму выбора.
Несколько видео:
| Наборы даже с картинками: |
Девочка Саша печатает своё первое в жизни слово, ей 17 лет: |
| Игра DisCoin: |
Играем в DisCoin в классе: |
DisType
Тяжелым случаям помог — супер. Но есть не такие тяжелые случаи. Например раньше я общался с людьми, показывая пальцем буквы на бумажной клавиатуре. Очень дешёвый девайс, но у него есть свои минусы — например, собеседнику надо следить за пальцем. Тогда я решил создать приложение для Android, которое использует системный TTS API. Приложение очень простое: поле ввода и кнопка «Cказать», но, как ни странно, помогает очень.
Потом я подумал и решил, что просто приложение с двумя элементами и одним MainActivity.java слишком просто. И добавил функцию сохранения сказанных фраз в бд и вывод их в listview под полем ввода с сортировкой по частоте ввода. Но вскоре фраз стало слишком много и я добавил ещё категории. Поговорил и раскидал по категориям после разговора.
К тому времени я забыл напрочь пароль KeyStore, так что пришлось делать отдельное приложение: DisType Pro. Кстати, с speechkit’ом от яндекса, ибо встроенный TTS не говорил мужским голосом. Так что теперь с нормальным интернетом я мужчина, а в оффлайне — девушка. Надеюсь, Яндекс скоро выпустит оффлайн-версию их суперской библиотеки.
Все же не все умеют читать и писать DisTalk
Есть популярный девайс GoTalk. Небольшое устройство, которое записывает аудиозаписи на кнопки, в которые можно вставить картинки. Но как все инва-оборудование, дорогое (например, кнопка для DisQwerty, которая просто служит левым кликом мыши, стоит 100$). Я создал аналог GoTalk для Android. Простое приложение, которое берёт картинки из папки DisTalk на карточке устройства, строит из них gridview и при нажатии говорит название файла. Ещё картинки можно разложить по папкам (наборам) и переключать наборы).
Нужна помощь
Все программы бесплатны, хотя бы по следующим причинам:
- Гуманно
- Сложное оформление ИП и налогов
- Оттолкнёт и так униженных жизнью пользователей
Но для развития нужна помощь:
- Перенос программ на iOS и Windows Phone
- Художник для создания иконок
- Помощь в создании сервиса хранения фраз для DisType
- Юрист
- Помощь с аппаратной частью
- Donate, because open source
Мой сайт: aacidov.ru
От модератора: данная публикация нарушает некоторые правила сайта и в «Песочнице» мы обычно сразу отклоняем подобные. Но в данном случае сделали исключение, дооформили публикацию и надеемся, что среди пользователей Хабра найдутся неравнодушные люди, которые помогут развитию проектов.
Иван, ты молодец!
Комментарии (77)
terkin
25.08.2016 14:53+16Не побоюсь повториться — Иван вы огромный молодец, продолжайте в том же духе!
Radist_101
25.08.2016 15:02+21Иван, зашел на ваш сайт aacidov.ru, пробежался по проектам. Подумал может вам стоит выложить свои проекты в github.com, чтобы сообщество могло видеть и развивать ваши проекты
ikormachev
25.08.2016 15:10+6Иван, вы молодец! Закинул немного денег вам на счет. Желаю успехов и пишите еще на хабр!
По поводу помощи с аппаратной частью — напишите, чего вам не хватает. Уверен, если не я, то хабр точно поможет :).
f0rmat1k
25.08.2016 15:28+1Почему-то после доната при возвращаении на
http://aacidov.гu/thanks
редиректит сюда и 404
http://aacidov.xn--u-etb/thanks
u007
25.08.2016 15:42+6Ввод текста одной кнопкой?? Смело!
Если выбор идёт от левого верхнего края, стоит перераспределить буквы в соответствии с частотой вхождения, чтобы для выбора «А», «О» и так далее нужно было меньше нажатий, чем, скажем, Ъ. Ну и чтобы быстрее привыкнуть, гласные сделать красными, согласные — синими и т. д.
Можно автозавершать слово, если оно угадывается по словарю.
PavelMSTU
25.08.2016 15:49+2Да, самые популярные буквы вынести «в начало».
Можно так же нажимать не два раза, а три раза.
Сначала выбирается блок, затем строка, затем столбец.
Это существенно убыстряет написание текста.
ibakaidov
25.08.2016 16:07+2я использую в сашином случае яндекс предикт. посмотри демку тут: http://aacidov.ru/DisQwerty
u007
25.08.2016 17:01+1Ещё вот такая технология есть, не встречалась? https://habrahabr.ru/post/208108/
yura415
25.08.2016 17:20+2Еще можно разделить на две кнопки — левая ведет отсчет с левой стороны, правая с правой. Нажатие запускает отсчет, отпускание подтверждает выбор.
klirichek
26.08.2016 05:23+1Увидел реплику про одну кнопку, и почему-то сразу вспомнил про телеграфный ключ и морзянку…
В принципе, что-то в этом есть — но только взять не морзянку, а закодировать буквы последовательностью точек-тире по Хаффману, согласно частотному словарю разговорного языка. А дальше можно так же — визуально разделить на множество групп. Например, верхняя часть — все буквы, начинающиеся с "точки". Нижняя — с "тире". А там — так же правая/левая половины оставшегося и т.д.
Учитывая Хаффмана большинство букв получатся в 2-3 движения.
mobilz
25.08.2016 16:12+3Низкий поклон.
Могу помочь с ios/android/wp разработкой, вы удивитесь, насколько всё просто.ibakaidov
25.08.2016 17:03+1просто было бы если бы avspeechsynthesizer работал на айос. а то он зараза на эмуле хорошо говорит, а на реальном айпеде ни слова
Woit
26.08.2016 00:39Если заработало на симуляторе, то есть как минимум n способов запустить на железке. Надо пощупать…
* потянулся за плоскогубцами *
Barafu
25.08.2016 16:47+1Существуют системы, способные распознавать, куда именно на экране смотрит человек. Точность — сантиметра 3. Стоят, в общем, не дорого — там качественная вебкамера с оптическим увеличением прямо в лицо и софт. Может пригодиться.
ibakaidov
25.08.2016 16:53+12Я не зря написал, что все мышцы дергаются. Реально все и глазные. айтрекинг для дцп мертвая петля
GigaFlopsis
25.08.2016 17:48+3А что на счёт нажатия с помощью дыхания? Существуют ли подобные системы?
Скажем, вместо кнопки расположить чувствительный микрофон возле носа и улавливать нажатие при резком выдохе.ibakaidov
25.08.2016 17:48+2видел на западе. сколько стоит смотреть боюсь…
Morozov_5F
25.08.2016 21:28+1Надеюсь, скоро будет не только на западе. У нас в университете уже вроде испытывают такую систему, но она пока хреново работает, её постоянно дорабатывают.
trapwalker
25.08.2016 21:44+3Это же всего лишь микрофон. Дорого он стоит потому, что нужен малому проценту людей. Я считаю нужно делать открытые проекты, много открытых opensource проектов. Внести посильный вклад в такой проект может каждый. Кто-то умеет программировать, кто-то возьмёт на себя аппаратную часть, но вы удивитесь сколько работы в каждом таком проекте не требет специальных знаний. Проверить орфографию, сделать или чуть доофорить страничку проекта, написать или просто отформатировать пару абзацев документации, поучаствовать в формировании ТЗ в конце концов. Краудсорсинг, как мне кажется, не ограничится википедией. Нужно больше открытых площадок для открытых проектов. Кто-тог отов посвятить теме много времени, а кто-то готов сделать узкую небольшую и специальную вещь, но ему нужно четко понимать что и как должно получиться. Оттачивание ТЗ не требует технических знаний, а детализаованная задача, не требующая принятия решений от исполнителя — это очень удобная штука.
Успехов вам.
Публикуйте проекты на гитхабе или битбакете, пишите о них статьи и люди подтянутся.
Думаю многие здесь любят интересные задачи и с удовольствием помогали бы каждый в своей области.
Вон идея с вводом текста дыханием — это показатель. Да, она не нова и есть реализации, но здесь не требуется сложной аппаратной части и, наверняка, можно обойтись простой гарнитурой-прищепкой + программный модуль для смартфона.
Нейронные сети, глубинное обучение, эволюционные алгоритмы… есть масса инстурментов. А ещё есть масса информации в сети. Наверняка софт для Стивена Хокинга в opensource. Неужели его нельзя адаптировать на другие случаи?..mozg1986
26.08.2016 08:53Да, это действительно всего лишь микрофон. И стоят они тоже крайне дешево. Их даже устанавливают в одноразовых электронных сигаретах (типа Pons).
Dimonyga
26.08.2016 09:14+1Так PONS это и есть аппаратная составляющая однокнопочной клавиатуры! Выдернуть спираль и провода к кнопке!
MagisterLudi
25.08.2016 23:24+1Есть вот такой конструктор — http://www.bitronicslab.com/
На его основе можно что нибудь собрать.
Wesha
26.08.2016 04:04Как насчёт движений грудины? Резиновая лента вокруг груди, глубокий вдох — нажатие.
все мышцы дергаются.
А как насчёт языка?
zartdinov
25.08.2016 21:30+1Знаю, что случаи разные. Возможно, вопрос больше даже адресован пользователям, среди которых есть специалисты.
Может ли в данном случаи работать электроэнцефалография. Я так понимаю, ЭЭГ следит за электрической активностью мозга и сам не вырабатывает никаких полей. Просто в свое время наталкивался на кучу девайсов подобного рода для разработчиков игр, некоторые даже с инструментами под разные платформы. Возможно, не стоит рассматривать их так серьезно. Но может найдутся те кто пробовал и смогут сказать пару слов о том насколько они отзывчивые и сложно ли приучиваться.
BarrelRoll
25.08.2016 16:49+3Вы большой молодец!
Знаком с проблемой не понаслышке. У моего брата ДЦП 3-ей степени, он может двигать только зрачками и веками глаз. Говорить не может.
Пробовал использовать эти возможности для набора текста с помощью специальной клавиатуры Dasher и eye tracker-а.
пример работы клавиатуры Dasher
popov654
25.08.2016 17:33+1А как это работает, не расскажете? Я просто немного не понимаю по видео. Тут надо двигать мышкой, а блоки двигаются на экране сами непрерывно? Но как это поможет человеку, у которого дёргаются все мышцы?
BarrelRoll
25.08.2016 17:48+1Да, Вы правы, тут надо двигать мышкой, например, с помощью eye tacker-а. Блоки появляются непрерывно, Вы выбирает указателем блоки и можете динамически регулировать скорость их появления тем же указателем. Блоки подбираются специальным алгоритмом в соответствии со словарем и частотой использования. Здесь можно посмотреть демонстрацию работы. Если eye tracker или мышка не вариант, то этот способ, к сожалению, не подходит.
sebres
25.08.2016 18:41+1Ибо встроенный TTS не говорил мужским голосом
Я давненько видел обзор русскоязычных TTS-ок под дроид, покопался в истории броузера — вот вдруг вам что-то подойдет (бесплатные там тоже вроде были) — http://www.tiflocomp.ru/devices/android/ruvoices_overview.php
Ах да — вы просто молодчина!
И спасибо модераторам за "исключение"...
Tseikovets
26.08.2016 02:28С тех пор на Android появилось ещё некоторое количество синтезаторов речи, правда большинство коммерческие. Если надо, могу дать ссылки на все существующие решения.
Однако в контексте бесплатности и открытости, Иван, посмотрите на проект RHVoice — https://github.com/Olga-Yakovleva/RHVoice/wiki/Downloads
Там есть мужской и женский голос, а главное и для русского, и для английского языков (для англ. только мужской), плюс его можно приспособить практически под любую платформу, а главное локально, чтобы не гонять трафик с облачным TTS.
Под Android есть уже готовая реализация, которую можно просто поставить и использовать.
Кстати, RHVoice — это изначально был проект синтеза речи для незрячих, чтобы читать информацию с экрана.
enniel
25.08.2016 19:17+1Можно сделать управление джойстиком. Не знаю сколько они стоят, но если сильно дорого, возможно кто-нибудь из радиолюбителей хабра сделает бюджетный вариант. А потом можно и на кикстартере кампанию запустить.
Автору удачи!
ODY
25.08.2016 19:28+7Простите за наглый/глупый вопрос, что ощущает человек с дцп когда говорит? Как он ощущает ту силу что мешает ему сказать?
Спасибо Вам за помощь.
trapwalker
25.08.2016 21:55+4Правда, попробуйте оформить проект той же кнопки в виде репозитория на гитхабе. То есть в репозиторий должно попадать все от странички проекта и первичного тезисного ТЗ, до чертежей, вариантов реализации, исходного кода и технической документации. Если начать с описания сути проблемы и указать ссылки на места обсуждения, а также очертить направления возможной помощи, то, думаю, многие увидев огромный чек-лист простых задач с азартом кинутся сделать парочку или закрыть целый блок. Кто-то соберет и проклассифицирует идеи из результатов мозгового штурма проблемы в комментариях на хабре. Кто-то проиллюстрирует и дополнит какие-то варианты реализации, кто-то сформирует ТЗ и наведет порядок в файлах проекта… Иногда очень важно получить прямую обратную связь, показывающую нужность и полезность своих знаний и навыков.
mephistopheies
25.08.2016 22:19+3я вот не понял, вас понимают несколько человек, они понимают только по, извиняюсь за выражение, по звукам которые вы произносите с шумами, или им что бы понять вас нужно еще видеть жестикуляцию? я чо спрашиваю, ведь теоретически, реально брать нейрсетку обученную на распознавание голоса, и дообучать на конкретного человека, конечно придется поработать самому человеку, что бы собрать базу выражений, ну т.е. наговорить как может, и к каждому приписать текст; вроде как век персонифицированной медицины, а мы блин картинки стилизуем
M_AJ
26.08.2016 00:58+2Если человек проглатывает некоторые звуки, а это практически всегда так, то нужно не только привыкнуть к его акценту, что нейросети теоретически под силу, но и восстанавливать слова с учетом контекста, что уже нереально.
popov654
30.08.2016 23:34Почему же нереально? Есть же системы коррекции опечаток, даже в том же Андроиде. Можно собирать списки наиболее частых контекстов (блоков подряд идущих слов разном порядке), и предлагать «популярные» варианты для данного конкретного пользователя.
Anarions
25.08.2016 22:24+1А система используемая Хокингом нигде не представлена в опенсорсе? Насколько я понимаю — у него очень похожий принцип. Только скомбинированы словарные таблицы (таблицы часто используемых слов) и «ручной» ввод по буквам.
ibakaidov
25.08.2016 22:25+3опубликована, пробовал переводить на русский, не справился
MagisterLudi
25.08.2016 23:20+3Скиньте ссылку, может, толпой навалимся и сделаем.
zartdinov
26.08.2016 05:24+1Насчет навалимся, можно подготовить конкурс (наподобие фильтрации почты на js и других).
Каждый процент результата может сильно упростит жизнь в итоге.
Не помню, были ли задачи в области распознавания речи, в поиске вижу, что что-то было.
Как уже говорили, задача сложная и интересная, можно применить множество знаний.
Начать с фильтрации шумов и закончить попытками предсказать будущее)
Причем, можно не сильно ограничивать участников в выборе инструментов, количестве попыток и т.д.
Предполагаю, потребуется приличная выборка слов речи, не знаю в каком формате, наверно wav какой-нибудь)
ru_vlad
25.08.2016 23:47+3Иван вы молодец!
Преклоняюсь перед вами.
То что вы не сломлены болезнью восхищает.
Какая нужна будет помощь в аппаратном или программах дай знать.
Можно даже сделать блок по каждому конкретному проекту.
firehunt
26.08.2016 00:31+1Было бы недурно, если производители или продавцы HW подтянулись как то с помощью.
gera-gas
26.08.2016 01:43+3Иван, Вы не просто молодец, а однозначно имеете задатки лидера и это говорит о том, что Вы имеете все шансы на достижение Вашей цели. Ваша статься тронула за душу.
Что очень радует, это то, что Вы высоко социальный человек. Несмотря на все имеющийся трудности Вы не просто готовы их устранять, а главное главное помочь остальным избавиться от них.
Ваша статься мне дала серьезный повод к переоценке взгляда на жизнь.
Так уж сложилось, что у меня с детства очень хорошая память и я помню себя с 2-х лет,
и пока я читал Вашу статью, я вспомнил как в детстве я не мог нарадоваться возможности побеситься.
Мне казалось что в мире просто не существует ничего совершенней, чем мое тело, и это просто высшая инженерия, говоря современными словами. Но прошло время и эти воспоминания отошли на задний план, а на передний пришли материальные ценности и т.п.
Так что спасибо Вам за статью, после прочтения которой я вспомнил, кто я есть.
А для решения технической составляющей проблемы, которую Вы здесь изложили, я думаю нужен системный подход., Нужно расписать задачу в целом: составляющие, необходимые для его реализации (какое железо, софтовые задачи и т.п), и конечно уже готовые реализации в OpenSource.
Если я как разработчик ПО для встраиваемых систем могу Вам чем-то помочь, пишите мне на email: gera_box@mail.ru
Wesha
26.08.2016 04:08+1Иван, я на Вашем видео вижу, что Вы в некоторой степени владеете пальцами. Как насчёт датчиков сгибания пальцев?
ibakaidov
26.08.2016 10:39+1я то легко печатаю на маковской клавиатуре. мне девайсы не нужны. а так вещь крутая, плюс если научится отличать гиперкинезы от произвольных движений
unixwz
26.08.2016 10:35+1Очень хорошо, что люди с такими болезнями тоже могут заниматься полезными и нужными вещами и то, что они тоже находят себя в этой жизни. Вы большой молодец!
IT_SECURITY
26.08.2016 10:47Хороший topic!!!
И он меня зацепил, силой духа и целеустремленности ИВАНА.
Всем крепкого здоровья и Удачи в дальнейшей судьбе ваших трудов!!!
ibakaidov
26.08.2016 11:11+2Сегодня будет видео прототипа кнопки, мне ГУАП помог с ним, нужно будет производство
iloveip
26.08.2016 11:21+1Иван, если вам нужна будет помощь с налогами или регистрацией ИП, то пишите, буду рада помочь.
sim-dev
Заминусуйте меня за оффтоп, но после таких статей многократно усиливается ненависть за то, что сделали с нашими параолимпийцами!
Иван, успехов! Немножко помог Вам.
murzilka
Вдруг стало любопытно: а какой процент нашей сборной паролимпийцев составляют бывшие спортсмены, ставшие инвалидами из-за разных препаратов. Случайно не знаете?
se11er
а еще говорят, что Хабр не прислушивается к комментаторам:)
MiXei4
Вы хотя бы посмотрите, как пишется это слово.
Psychosynthesis
Если вы про «параолимпийцев», то оба варианта правильны. Или речь про что-то другое?
JavaFox
Вы когда так пишите, обязательно пишите кто сделал, что именно сделал и за что сделал