Привет, я Иван Бакаидов.
Вы знаете, что я много лет делаю софт, который помогает людям с тяжелыми нарушениями общаться с миром. Хочу немного рассказать о том, чем занимаюсь последний год, также мне нужна помощь разработчиков браузерных игр.
За эти годы я пришел к использованию устройств отслеживания положения взгляда Tobii для коммуникации с тяжелыми формами инвалидности.
В прошлом году я начал сотрудничать с фондом “Близкие Другие”. У нас был интересный опыт, когда несколько десятков семей научились работать с айтрекером с использованием моих open-source программ.
В этом году мы решили масштабировать этот опыт и для этого сделать бесплатный методический курс, которым может воспользоваться любая семья самостоятельно.
Юра Дудь пробует LINKa смотри, на разработку которой он выделял деньги.
За год работы проекта фонд купил оборудование более 20 семьям. В ходе проекта “Учись глазами” мы установили необходимость не только в закупке оборудования, но и в работе дефектолога с семьями. Дефектолог помогает с помощью айтрекера установить и развить коммуникативные навыки в семьях с детьми с нарушениями развития.
В комплект оборудования входит ноутбук и eye tracker, устройство, которое сообщает компьютеру точку взгляда на экране. Почитать подробнее о трекере тут.
В ходе работы отлично зарекомендовала себя идея программы LINKa смотри. Простейшая система, которая позволяет составить родителю или специалисту “доску” карточек, оказалась очень гибкой и дала возможность конструировать сценарии от простейших (выбор из двух карточек) до игры в мемо.
Жизненное видео.
Получив крайне интересный и положительный опыт, мы перешли к его институализации в виде курса. Курс будет состоять из онлайн-лекций и видео мастер-классов для родителей и методистов, а также специализированного программного обеспечения для проведения занятий с eye tracker: игры — для развития навыка управления взглядом, и коллекции наборов карточек — для коммуникации с миром. В том числе для коммуникации в начальных классах школы.
Мы приступили к работе над специализированными играми, рассчитанными на разные аспекты развития навыка управления компьютером при помощи взгляда:
Классика
Основная цель поста — посоветоваться с выбором технологий.
Первая версия игр была написана на Unity, но мы пришли к выводу, что разработка на этом стеке слишком дорогая.
Я написал оболочку для запуска игр на electron, с поддержкой драйвера tobii eye tracker, а также несколько простых игр, используя paper.js для работы с Canvas.
Пример игры Волк и яйца.
Также мы написали технические задания для игр.
У меня есть важный технический вопрос к сообществу:
На чём лучше писать игры на paper.js, phaser.io, construct.net или чём-то другом?
Нам можно помочь посоветовав технологию, написав игру, или нарисовав графику для игры
Или сделав пожертвование
Вы знаете, что я много лет делаю софт, который помогает людям с тяжелыми нарушениями общаться с миром. Хочу немного рассказать о том, чем занимаюсь последний год, также мне нужна помощь разработчиков браузерных игр.
За эти годы я пришел к использованию устройств отслеживания положения взгляда Tobii для коммуникации с тяжелыми формами инвалидности.
В прошлом году я начал сотрудничать с фондом “Близкие Другие”. У нас был интересный опыт, когда несколько десятков семей научились работать с айтрекером с использованием моих open-source программ.
В этом году мы решили масштабировать этот опыт и для этого сделать бесплатный методический курс, которым может воспользоваться любая семья самостоятельно.
Юра Дудь пробует LINKa смотри, на разработку которой он выделял деньги.
Для тех, кто не знает, кто я, в спойлере мой манифест.
Коммуникация – основа человеческой жизни,
Многие, в силу разных обстоятельств, лишены возможности привычных коммуникаций.
Я, Иван Бакаидов, применяю современные технологии и разрабатываю интерфейсы, чтобы помочь людям снять эти ограничения:
Людям с проблемами речи — сделать удобный интерфейс с синтезатором голоса
Людям с ограничением двигательных способностей — быстро писать текст.
Людям с тяжелыми двигательными нарушениями — применять альтернативный ввод, при помощи айтрекера, формируя высказывание глазами.
О проблемах неговорящих людей я знаю не понаслышке, ведь у меня ДЦП и я очень непонятно говорю.
Много раз я попадал в ситуации в которых неспособность ответить людям ставило меня положение “третьего лица”, человека не с которым, а о котором говорят.
Это ужасное положение.
Всё изменилось, когда я разработал LINKa, программу, которая читает написанный текст. Я перестал держаться людей, которые понимают мое мычание, и смог путешествовать, работать, знакомиться с новыми людьми.
Это потрясающий путь к жизни и я хочу дать пройти его всем, у кого есть проблемы речи.
Поэтому моя задача изобретать интерфейсы, которые помогут сказать каждому.
Многие, в силу разных обстоятельств, лишены возможности привычных коммуникаций.
Я, Иван Бакаидов, применяю современные технологии и разрабатываю интерфейсы, чтобы помочь людям снять эти ограничения:
Людям с проблемами речи — сделать удобный интерфейс с синтезатором голоса
Людям с ограничением двигательных способностей — быстро писать текст.
Людям с тяжелыми двигательными нарушениями — применять альтернативный ввод, при помощи айтрекера, формируя высказывание глазами.
О проблемах неговорящих людей я знаю не понаслышке, ведь у меня ДЦП и я очень непонятно говорю.
Много раз я попадал в ситуации в которых неспособность ответить людям ставило меня положение “третьего лица”, человека не с которым, а о котором говорят.
Это ужасное положение.
Всё изменилось, когда я разработал LINKa, программу, которая читает написанный текст. Я перестал держаться людей, которые понимают мое мычание, и смог путешествовать, работать, знакомиться с новыми людьми.
Это потрясающий путь к жизни и я хочу дать пройти его всем, у кого есть проблемы речи.
Поэтому моя задача изобретать интерфейсы, которые помогут сказать каждому.
Про опыт
За год работы проекта фонд купил оборудование более 20 семьям. В ходе проекта “Учись глазами” мы установили необходимость не только в закупке оборудования, но и в работе дефектолога с семьями. Дефектолог помогает с помощью айтрекера установить и развить коммуникативные навыки в семьях с детьми с нарушениями развития.
В комплект оборудования входит ноутбук и eye tracker, устройство, которое сообщает компьютеру точку взгляда на экране. Почитать подробнее о трекере тут.
В ходе работы отлично зарекомендовала себя идея программы LINKa смотри. Простейшая система, которая позволяет составить родителю или специалисту “доску” карточек, оказалась очень гибкой и дала возможность конструировать сценарии от простейших (выбор из двух карточек) до игры в мемо.
Жизненное видео.
Про курс
Получив крайне интересный и положительный опыт, мы перешли к его институализации в виде курса. Курс будет состоять из онлайн-лекций и видео мастер-классов для родителей и методистов, а также специализированного программного обеспечения для проведения занятий с eye tracker: игры — для развития навыка управления взглядом, и коллекции наборов карточек — для коммуникации с миром. В том числе для коммуникации в начальных классах школы.
Мы приступили к работе над специализированными играми, рассчитанными на разные аспекты развития навыка управления компьютером при помощи взгляда:
- осознание процесса взаимодействия с экраном (демонстрация направления взгляда, удержание взгляда на объекте для его выбора);
- тренировка управления взглядом (игры на скорость, зоркость и внимание);
- удовольствие (арканоид, волк и яйца).
Классика
Вопросы
Основная цель поста — посоветоваться с выбором технологий.
Первая версия игр была написана на Unity, но мы пришли к выводу, что разработка на этом стеке слишком дорогая.
Я написал оболочку для запуска игр на electron, с поддержкой драйвера tobii eye tracker, а также несколько простых игр, используя paper.js для работы с Canvas.
Пример игры Волк и яйца.
Также мы написали технические задания для игр.
У меня есть важный технический вопрос к сообществу:
На чём лучше писать игры на paper.js, phaser.io, construct.net или чём-то другом?
Как можно помочь проекту
Нам можно помочь посоветовав технологию, написав игру, или нарисовав графику для игры
Или сделав пожертвование
- Почта для связи. office@blizkiedrugie.ru
- ссылка на фонд
Tomasina
Не хватает информации как это работает - как происходит анализ движения глаз, как отсеиваются "ложные" движения, как подтверждается действие, насколько это ресурсоемко.
SquareRootOfZero
Так автор, вроде, не занимается разработкой систем айтрекинга, какие к нему вопросы? Вот прибор, вот API.
Я лет 7 назад пользовался похожей штукой (другой модели и не для инвалидов, пытался делать фовеальный рендеринг), выглядело это так: под монитор прикрепляется плашка, в ней пара камер и инфракрасная подсветка (используется эффект «красных глаз», чтобы лучше их искать, но бывают девайсы и без подсветки). Если монитор слишком большой — работать будет плохо (мой девайс поддерживал до 24", что ли). Запускаешь калибровочную программу (рисует в разных местах экрана круги, на которые надо смотреть). Софт работал в режиме локального сервера, просто подключайся к нему по TCP или UDP и бери координаты экрана, куда смотрит юзер. Систему особо не грузило, но дрожало и подлагивало, для моих целей (фовеального рендеринга) ему явно не хватало скорости реакции, а для тонких манипуляций (типа курсора мыши) — точности позиционирования. С тем, чтобы навестись на крупную кнопку, проблем не было никаких. Подтверждать действие можно как угодно — кликер дать с одной кнопкой, навелся — нажал.