Когда наша команда «Моторика» приступила к разработке бионических протезов мы вдруг узнали, что большинство биопротезов на рынке не приспособлены к современным реалиями. Ведь в 21 веке мы уже не представляем жизнь без компьютеров, гаджетов и портативной техники. Но как управлять современной техникой, если у тебя вместо рук биоэлектрические протезы?
Клавиатура
По специальности я журналист, поэтому после ампутации кистей мне нужно было быстро решить проблему набора текста.
Еще до получения протезов я научился печатать культями, а также попробовал голосовой набор. Как я уже писал, надиктовывать я так и не привык — текст лучше рождается в процессе набора. Да и программы по распознаванию текста пока еще не идеальны. После начитки приходится долго исправлять ошибки в ручную.
После получения протезов был найден оптимальный способ печатания — большими пальцами:
Печатать указательными пальцами в протезах Bebionic3 неудобно — согнутый палец не слишком длинный, а ладонь со сложенными пальцами настолько широкая, что может случайно коснуться клавиатуры:
До ампутации я печатал вслепую, десятью пальцами. Сейчас я печатаю двумя пальцами и поглядываю на клавиатуру. Понятно, что скорость набора сильно уменьшилась, но у меня уже выработалась привычка печатать по-новому. Не думаю, что я печатаю сильно медленнее среднестатистического пользователя.
Мышь
Представьте, что вам нужен протез руки. Вы начинаете рыться в сети в поисках лучшего варианта. Естественно, вам хочется что-то современное, бионическое, чтобы ваш протез мог столько же, сколько и здоровая рука. Хочется, чтобы протез мог выполнять как можно больше действий. Вы идете на ютуб и видите это:
Вы думаете: «вау, с таким протезом я смогу работать с мышью, как круто, вот, до чего техника дошла!». Все, вы в ловушке маркетологов.
Правда такова: Bebionic3 заточен под одну конкретную модель мыши, причем мышь не из дешевых и популярных моделей. И даже если вам удастся ее заполучить, то рады вы не будете — щелчок пальцем возможен только по левой клавише и то — со значительной задержкой. По правой кнопке палец не щелкает. Зажать левую кнопку мыши тоже не получится — доступен только щелчок (двойной или одинарный).
Работать с документами, сидеть в сети или играть в игры при помощи мыши с этим протезом — настоящее наказание. Но компания-производитель другого мнения. На сайте RSL Steeper все эти «особенности» скромно умалчиваются, зато написан воодушевляющий текст:
Whether you are working in the office, browsing the internet, or playing video games at home, the mouse grip is ideal, and is completely unique to bebionic3, making it the only prosthetic hand designed to operate a computer mouse.
Лично я считаю, что все это попадает под определение недостоверной рекламы:
Недостоверной является реклама, в которой присутствуют не соответствующие действительности сведения относительно различных характеристик, свойств, качеств товара;
Мораль: маркетинг повсюду. Даже в товарах для инвалидов. Доверяйте отзывам реальных пользователей, а не красивому контенту.
Трекбол
Трекбол представляет собой большую перевернутую шариковую мышь:
Это удобный аналог компьютерной мыши. Особенно для людей с ограниченными возможностями здоровья. Чем больше шар и кнопки трекбола, тем удобнее ими управлять при помощи протеза. Дополнительные кнопки трекбола можно настраивать под ваши задачи.
Из минусов:
— требуется время, чтобы перенести протез с шара на кнопку. Эта задержка не критична и я с ней справляюсь при помощи USB-педалей.
Педали
Для упрощения работы с ПК на полу под столом у меня лежит вот такой девайс:
Три USB-педали, каждая из которых настраивается под любую комбинацию клавиш. Я их настроил следующим образом: левый клик, ctr+X, ctr+V. При помощи левого клика на педали можно легко совершать драг-энд-дропы, а комбинации «вырезать — вставить» облегчают мне жизнь при работе с текстами. Количество подключаемых педалей ограничено только техническими возможностями USB. Поэтому при необходимости под столом можно собрать целую клавиатуру. Удобно.
Из минусов:
— через какое-то время педали начинают скрипеть
— кривой софт для настройки педалей
Тачскрины и тачпады
Протезы не работают с сенсорными экранами и тачпадами — это одна из главных бытовых проблем биоэлектрических протезов рук. По странному стечению обстоятельств разработчики современных протезов допустили очевидный промах.
Решить эту проблему не так-то просто. Вот, как описывает свои «фруктовые эксперименты» еще один пользователь бионических рук Денис Удовенко:
Touchpad – устройство, использующее разность напряжений на своей поверхности для определения положения касающегося его предмета. Человеческая кожа, как и всякая другая органика, имеет на поверхности некий электрический потенциал, отличный от нуля. Силиконовая или ПВХ перчатка протезов никакого потенциала не имеет, а потому тачпад работать с моими новыми руками даже и не подумал. Тут же было перепробовано множество совершенно абсурдных вещей: намочить палец протеза, смазать его жиром и т.д. В итоге первый положительный результат был получен при попытке повозить по сенсору мандарином.
Кожица цитрусовых оказалась отличным аналогом кожи человеческого пальца, и курсор мыши при таскании мандарина по сенсору двигался достаточно уверено. Вполне даже работал двойной клик за счет быстрого прикосновения к тачпаду дважды. Но на этом преимущества найденного метода кончались: мандарин начинал деформироваться и лопаться под натиском силы сжатия протеза, загнивать через сутки активной эксплуатации и сильно пачкать сенсор каплями сока.
Бороться с горой протухших фруктов на столе я начал, как только понял, что отирать от них сенсор и проветривать рабочее место сил у меня больше нет. Первой пришла в голову идея попробовать стилус. Однако, сколько и каких бы стилусов я не пробовал, такого успеха, как с мандарином, не добился. На некоторые стилусы для емкостных (т.е. работающих за счет перепада напряжений) экранов тачпад реагировал, но курсор двигался не точно и крайне нестабильно. Само собой, стилусы для устройств с резистивными экранами (реагирующими на механическое воздействие) не действовали вообще. Вернее, я их и пробовать не стал.
Следующими тестированию подверглись перчатки для работы с электронными планшетами. Увы, этот вариант оказался полностью бесполезен. Дело в том, что контактный слой перчатки сам по себе не создает разность потенциалов, а лишь служит проводником между емкостным устройством и одетой в перчатку рукой. Само собой, если одеть эту перчатку на протез, даже в ночь на полнолуние на Лысой Горе, чуда не произойдет. Я, однако, не исключаю, что существуют и другие, более подходящие модели перчаток, но мне они не попадались.
Так что пришлось до поры оставаться наедине с цитрусовыми.
Помимо мандаринов, существуют и другие полумеры, например, токопроводящие чернила. Можно нанести их на пальцы протеза и день-другой использовать тачскрин, но чернила сотрутся и придется снова повторять процедуру:
С тачскринами и тачпадами не работают протезы 2011-2013 годов разработки (Bebionic3, Michelangelo hand). Эта проблема игнорировалась до 2015 года, пока шотландская компания Touch Bionics не выпустила протез I-limb Quantum, на указательный палец которого отзываются тач-поверхности:
Интересно, почему нельзя было довести до ума не только указательный, но и остальные пальцы? Для сенсорных поверхностей мне было бы удобнее использовать большой палец — также, как и в ситуации с клавиатурой. Кстати, производители рекомендуют использовать протезы в косметических силиконовых оболочках, а в этом случае и волшебный палец I-limb Quantum не поможет.
Поэтому пока я использую стилус для планшетов, банкоматов и платежных терминалов:
Телефон
По описанным выше причинам я не пользуюсь смартфоном, а по-старинке хожу с кнопочным телефоном. Его и уронить не страшно. Если у тебя протезы рук, то ты обязательно будешь ронять предметы.
Телефон неудобно постоянно засовывать и доставать из кармана, поэтому в свое время Денис придумал такой вариант:
Спасибо Денису Удовенко и его крутому блогу за помощь в подготовке материала
Я предпочитаю использовать для разговоров наушники и bluetooth-гарнитуры. От наушников-вкладышей пришлось отказаться, т.к. надеть их в протезах не так-то просто, поэтому я перешел на наушники с оголовьем. От своего сенсорного айпода я тоже избавился, благо Sony продолжают выпускать плееры с кнопками.
Перспективы
Думаю, вы убедились, что пока ситуация со взаимодействием с техникой и гаджетами при помощи бионических протезов оставляет желать лучшего. Но это только пока.
Большинство разработчиков средств реабилитации не стремятся создавать протезы, отвечающие вызовам времени. Мы в команде считаем, что протез — это современный гаджет, который может в разы облегчить жизнь инвалида. Почему бы не сделать протез со встроенным смартфоном, пульсометром и т.п.? Или почему бы не использовать протез для управления «умным» домом? Мы ставим перед собой далеко идущие цели.
Кстати, наш первый биоэлектрический протез кисти «Страдивари» скоро будет запущен в производство. Но об этом позже. Оставайтесь с нами!
Комментарии (41)
Templton
01.02.2017 11:09Каким образом организовано управление?
motorica
01.02.2017 11:16+1Если вы про управление биоэлектрическим протезом, то принцип следующий:
В культеприемной гильзе находятся два электрода, которые находятся в контакте с мышцами предплечья. Один электрод считывает напряжение мышцы-сгибателя запястья (при напряжении этой мышцы рука закрывается), другой — мышцы-разгибателя (при напряжении этой мышцы рука раскрывается). Хваты переключаются посылом сигнала на раскрытие при уже раскрытой руке..
По сути, все управление биоэлектрическими протезами — это морзянка. Два сигнала.Templton
01.02.2017 11:21Да, я про это.
Спасибо, очень инетересно. А почему не использовать нейроинтерфейс? Допустим, как Emotiv?
BigEl
01.02.2017 11:46+2Спасибо автору за публикации, всегда с удовольствием читаю ваши статьи. Бог миловал все на месте, но читать реально интересно, продвижение технологий, адаптация с современными реалиями. До знакомства с вашими статьями до последнего считал протезирование в стране на уровне конечностей магазинных маникенов.
Как альтернатива мышки — джойстик насколько подходит? Тестировалось?
для примера
motorica
01.02.2017 11:50+2Большое спасибо!
Нет, джойстики я не пробовал, но думаю, что ситуация будет примерно такая же, как и с трекболом. Джойстик позволит быстро и точно перемещать курсор, но для полноценной работы и удобства нажатия на кнопки придется использовать дополнительные устройства, например те же педали.
bblrlo
01.02.2017 11:50+1Так ведь сам протез можно использовать как мышку. Достаточно встроить в него датчик позиционирования(9 осевой гироскоп с акселерометром) и передавать данные по радиоканалу на в обычной беспроводной мыши, а вычисления проводить на приемнике, воткнутом в УСБ. Тогда можно будет просто водить рукой по столу и по нему же кликать.
SuhoffGV
01.02.2017 13:45На ali есть беспроводные мыши которые крепятся на палец, цена вопроса ~310р… Как вариант для пробы. Кнопки на ней наверное будут точно неудобны, но у автора есть педали.
Единственное НО — предполагаю что менять в беспроводной мышке батарейки автору будет не удобно. Тогда можно посмотреть и проводные варианты.
Пишут что печатать не мешает. На habr-e был обзор проводной версии.
Есть под руками несколько разных планшетов wacom. Есть варианты с кнопками. Кнопки большие, попадать несложно. Сам работать с ними пробовал — не моё, нужно переучиваться к тому что курсор не «едет» как при управлении мышью, а «внезапно появляется» на экране в месте которое соответствует положению стилуса. Но я и не дизайнер, мне планшет ни к чему.bblrlo
01.02.2017 15:01одно дело, когда девайс надевается на палец, другое когда уже встроен.
И, кстати, я не понимаю почему до сих пор не используют подобные датчики. ведь в комбинации с положением руки в пространстве и посылкой сигналов, можно заметно расширить количество доступных жестов.
Motoricanec
02.02.2017 00:24+1Нас тоже этот вопрос интересует) Но мы как раз и занимаемся реализацией подобных идей.
SuhoffGV
02.02.2017 09:32Предложение про «мышь на палец» это вариант решить проблему здесь и сейчас без особых затрат. Встроить можно что угодно и куда угодно, а человеку нужно сейчас.
ClearAirTurbulence
01.02.2017 15:01+1Более того, ничто особо не мешает встроить в протез динамик, микрофон, и БТ-модуль, и использовать его как ганитуру. Но, в отличие от мыши, это, скорее, к производителю.
Картинка
Motoricanec
02.02.2017 00:25+1Да, это тоже один из вариантов развития событий. Там есть много вопросов касательно ux, но мы постепенно будем их решать.
Motoricanec
02.02.2017 00:23+1Это отличная мысль и у нас она родилась уже давно. Обязательно будем делать что-то подобное. Если есть желание, можно подробнее обсудить эти концепции и поучаствовать в разработке)
DrZlodberg
01.02.2017 12:01+1С педалями идея интересная. Сразу пришло в голову довести идею до логического завершения и добавить сенсорный коврик. Точность ниже, но и площадь поверхности сильно больше, так что баш на баш. Ради интереса попробовал повазюкать ногой — теоретически должно получиться вполне быстро и точно. Разве что нога (по крайней мере первое время) будет сильно уставить.
Пытался представить себе клавиатуру для ног, но тут уже фигня получается. Разве что что-нибудь аккордное придумать.
nevergonnagiveyoup
01.02.2017 12:02Вопрос может и глупый, но почему бы к протезу не прикрепить вытаскивающийся usb — кабель, чтобы включать виртуальную клавиатуру? В этом режиме протез не двигается, а включается по акселерометру в каждой руке(с гироскопом возможно). В этом режиме вместо одной мышки у нас на экране появляется сразу 10(если на каждый "палец" есть по датчику) или хотя бы 2-4, если сигнал всего лишь на сжатие/разжатие. Протезы можно положить на гладкую поверхность и использовать вместо мыши и клавиатуры, передавая перемещение через акселерометр и угол протеза к компьютеру. Таким образом можно сэкономить не только на времени(виртуальная клавиатура есть все-таки), но и даже подзаряжать сей девайс на ходу.
motorica
01.02.2017 14:46Мы сейчас работаем над похожей идеей. Будем использовать беспроводные миодатчики, подключаемые к ПК по bluetooth. Управление за счет аккселлерометра+гироскопа и миосигналов
Leo7777
01.02.2017 13:30Почему бы не сделать накладки на пальцы протеза? А если допустим на него одеть специальную перчатку для емкостного экрана? (типа дешевой китайской) или отрезать от нее пальцы и надеть такой чехольчик на каждый палец
motorica
01.02.2017 13:54+1Как писал Денис: контактный слой перчатки сам по себе не создает разность потенциалов, а лишь служит проводником между емкостным устройством и одетой в перчатку рукой. Я, однако, не исключаю, что существуют и другие, более подходящие модели перчаток, но мне они не попадались.
Да, какие-нибудь накладки на протез сделать можно, но мне лично кажется, что это задача производителя — решить проблему на системном уровне, а не заставлять инвалидов играть в «очумелые ручки».
WildHorn
01.02.2017 17:18+1Сделать накладку и провести провод вдоль протеза до точки контакта с кожей.
Кстати, подозреваю, что и ёмкостные стилусы у вас не работают нормально по той-же причине — необходим контакт корпуса стилуса с кожей, а сам по себе стилус не обладает достаточной ёмкостью для нормальной работы.
А про системность, это да. Но корпорации обычно неповоротливы в этом плане.Motoricanec
02.02.2017 00:34+1На самом деле при использовании токопроводящего силикона можно залить мелкую гайку в силиконовую накладку на палец и уже будет достаточно емкости для работы с экраном. Мы сейчас экспериментируем с этой темой.
А вот как раз за счет неповоротливости корпораций мы и будем продвигать наши протезы на этом высококонкурентном рынке. Мы обязательно решим эту проблему и много других.)
Hoshi
04.02.2017 01:30Тоже пришла в голову эта идея. Намотал на маркер кусок фольги и провёл от фольги провод к руке — тачпад ноутбука откликается.
Leo7777
02.02.2017 08:57Каждый производитель будет гнуть свою линию и то как он это видит, разработкой руководят люди которые в общем то не всегда компетентные, и много чего не реализуется. А те кто первый сделают в своих протезах все необходимое, тот заломит цену за свое изделие и пройдет ни один год пока конкуренты подтянутся и цены не станут доступны.
ClearAirTurbulence
01.02.2017 17:57или отрезать от нее пальцы и надеть такой чехольчик на каждый палец
Надо к ним еще потенциал подвести, емнип, минус обычной батарейки АА для этого обычно используют.
TiRaToReA
01.02.2017 16:52Пару лет назад обнаружил что емкостный экран смартфонов (кроме apple) реагирует на твердый маркер как на стилус.
ATsyganov
01.02.2017 16:52Есть еще вот такой вариант мышки.
BigEl
02.02.2017 08:18Да не в мышах дело я так предполагаю. На данном этапе конструирования возникает проблема работы отдельными пальцами, нет (или недостаточная) гибкость и возможности четкого управления каждым пальцем по отдельности. Как писалось выше есть одна моделька заточенная для работы с одной конкретной мышью (редкая и дорогая). Проблема в осуществлении «кликания» по кнопкам мыши. Елозить по столу грызуном не сложно, сложно использовать полный функционал.
Поправьте если где ошибся.
Zeratul
02.02.2017 01:10А что насчет трекинга взгляда вместо мышки? это должно быть в разы удобней.
Даже есть какие-то готовые решения, гуглить по «Tobii eye tracking»
amarao
По поводу силусов. Помимо ёмкостного и резистивного ещё есть магнитный. Используется в планшетах для рисования (которые без экрана), но он же используется и в Galaxy Note у самсунга, и в некоторых видах ноутбуков. Чаще всего это идёт со словом «wacom». У самого Wacom'а есть cintiq (монитор со встроенным планшетом, реагирующим на перо). Перо там очень хорошо настраивается по чувствительности (не обязательно давить, достаточно приблизить). Я не знаю как им пользоваться в отсутствие фитбэка, но попробовать, ИМХО, стоит.
Вообще, я бы предложил попробовать в качестве средства ввода обычный планшет для рисования.
Аргументы:
1) Все учебники по рисованию требуют использовать движения плеча и локтя для управления рукой, а не фокусироваться на кисти. То есть даже в отсутствие моторики кисти должна оставаться нужная для движения пера моторика.
2) Абсолютное позиционирование. Мелкие ошибки не приводят к относительному сдвигу, и к нужной точке можно пытаться возвращаться любое число раз, и она будет всегда в одном и том же месте на самом планшете.
3) Перо может быть выдвинуто/прикручено к протезу так, что положение пера хорошо видно и возможно «медленное наведение на точку».
4) Из всех видов точпадов — индуктивные — самые точные. У вакомов начального уровня это около 300 dpi (как у мышки), у профессиональных — больше 2000, то есть с бытовой точки зрения точность абсолютная.
5) Топовые вакомы имеют аппаратные кнопки (не знаю какой удобности) в изобилии. Intuitos pro имеет аж 14 (из них две на самом пере, так что остаётся 12).
По поводу педали. Если увеличивать количество кнопок на педали, то имеет смысл подумать про autohotkey для назначения нужных действий на эти кнопки. В отличие от вендорового софта autohotkey очень и очень разумен и хорошо написан.
Из странного: попробовать vimperator для навигации в браузере. Специфичные комбинации, зато всё доступно с клавиатуры.
motorica
Спасибо за интересные советы. Я и не слышал никогда про магнитные стилусы. Буду разбираться
amarao
При том, что wacom'ы — это почти стандарт в области рисования, у конкурентов есть более дешёвые и плохие модели (с батарейкой в стилусе), но зато стоят порядка 20-30 долларов. Может быть, стоит начать с них. Хотя проще найти кого-то и одолжить на время нормальный большой ваком. Я бы сказал, что для повышения удобства лучше использовать большой — что-то типа Intuitos Pro Large (который имеет рабочую область размером в A4).
Sonikelf
Прошу прощения за оффтоп, но меня всегда интересовало как они определяют свои перья?
У меня есть Wacom планшет, в своё время я потерял от него перо и не мог НИЧЕМ вообще заменить, как не пытался.
С трудом купил потом официальное за $$$ зеленых, но дело даже не в деньгах, а в том, что я не пойму как у тех же китайцев найти магнитное перо, которое будет работать с этим планшетом (что они с ним такого делают с ним, не прошивают же?), который уже толком не выпускается и боюсь второй раз я ни перо, ни наконечников от него не куплю.
amarao
Насколько я понимаю, у wacom'а есть два типа стилусов: универсальные и «в комплекте». У меня несколько вакомов — у них взаимно несовместимые стилусы и это нельзя поменять. Зато можно «привязать» универсальный (продаваемый отдельно). Это такой маленький их бизнес — барыжить запасными перьями. Там внутрях код прошит, который, насколько я понимаю, транслируется. Как именно — вопрос открытый. Возможно, через набор используемых индуктивностей.
SuhoffGV
А почему бы не переложить функцию управления курсором на вторую ногу? Использовать либо трэкболл покрупнее, если есть. Либо что-то вроде педали/джойстика, но это уже делать на заказ. А руки оставить для клавиатуры.
ps Могу дать в долговременное пользование планшет wacom bamboo one ctf-430. Но он увы не большой. Город знаю. Попробуете, может получится что из этого.
SuhoffGV
Сам спросил — сам ответил: Stinky — педальный джойстик.. Конкретно этот где взять не знаю. Но предполагаю что начинающие ардуинщики смогут повторить что-то подобное.
motorica
Да, правую ногу можно использовать для управления курсором, существуют довольно большие трекболы. Это дело привычки и условий использования. Но нормально управлять трекболом ногой вряд ли получится не разуваясь, а я довольно часто использую ноутбук вне дома.
Спасибо за предложение, это очень приятно. Я сообщу вам в лс, если не найду вариант лучше.
GeeSVe
У меня в голове возникла картинка в виде того же планшета, но лежащего на столе. Над планшетом закрепляется тот же стилус (пружинный?). Стилус крепится к шарниру, а сам шарнир уже к плечу/предплечью с помощью рейки нужной длины. Гипотетически, так, двигая плечом, можно будет перемещать стилус, но при этом вроде как должно быть удобней, т.к. можно настроить это всё под удобное сидячее положение человека и если стилус с планшетом сделать программно эмулируемыми — можно настраивать размер площадки или вывести на виртуальный планшет клаиватуру. Что бы лучше «чувствовать» клавиши, можно с помощью вибромоторчика подавать сигналы когда «курсор» пермещается с одной клавиши «виртуальной клавиатуры» на другую. Как если бы пальцем проводить по поверхности настоящих клавиш, не нажимая на них. А «нажимать» клавиши можно с помощью тех же педалей.
Или может использовать трекер положения головы, который часто покупают фанаты авиа симуляторов. Правда, там и цена, и точность, и усталость шеи, и пр.
Хотя обе идеи наверняка уже кем-то опробывались и по каким-то причинам не взлетели :)
UndyingX
Вы наверное имели ввиду индуктивный стилус (судя по описанию принципа и упоминание WACOM)...