В статье рассматриваются вопросы, касающиеся разработки устройства навигации для незрячих людей.  Материал представлен в двух частях. В первой части приведен обзор коммерческих и экспериментальных разработок. Во второй части речь пойдет о моих разработках.

По данным Международного агентства по профилактике слепоты, сегодня примерно 284 миллиона жителей Земли имеют те или иные нарушения зрения, около 39 миллионов из них полностью его лишены. 

Чтобы немного погрузить читателя в проблему, упомяну результаты исследований, проведенные в Москве в форме опроса в 2020–2021 гг.

Ориентация как процесс, в котором незрячие горожане задействуют разные навыки и комбинируют несколько способов действий, редко становится предметом изучения (Williams et al. 2013). Основное внимание ана­литеков сосредоточено на конкретных способах перемещения, таких как передвижение с помощью GPS (Kuriakose et al. 2020), с собакой - поводырем (Lloyd et al. 2008; Craigon et al. 2017) или с ультразвуковой тростью (Sen et al. 2018).

 Рассказывая о своих повседневных маршрутах, участники опроса упоминали различные навыки ориентации, связанные со считыванием и моде­лированием пространства при помощи тактильной, вестибулярной и звуковой чувствительности, светоощущения, обоняния и интуиции, научение которым происходило самостоятельно или при помощи специалистов, нередко в специальных учреждениях.

Первым способом ориентации в городе является тактильное считывание пространства, когда незрячий человек касается окружающих объектов специальной тростью или частями тела и использует эту информацию для составления маршрута. Пользуясь тростью, незрячий человек совершает поступательные движения, очерчивая пространство впереди себя – с отрывом трости от поверхности или без, в зависимости от подвижности наконечника. Опрашиваемые описывали подобный способ использования трости как конвенционально правильный – именно ему обучают на специализированных курсах по ориентированию в пространстве. Однако реальная практика использования трости может варьироваться, поскольку специальное обучение часто оказывается недоступным и незрячие горожане учатся пользоваться тростью самостоятельно.

Трость позволяет незрячему чувствовать границу между различными частями улицы – например между пешеходной и проезжей частью, или между тротуаром и газоном. Граница может определяться как изменение относительного уровня разных частей дороги или как изменение покрытия, включая специальную тактильную плитку, дающую различную фоновую вибрацию на трость: «Обычно они так расположены – какая-то дорожка, и, например, справа газон. И просто ты идёшь по дорожке, ну, как я делаю, я просто тростью захожу то на газон, то с него. Чуть-чуть, туда-сюда. То же самое по бор­дюру» (Егор).

Понимание границ между частями улицы создаёт представление о перспективе и сменах направления улицы. Кроме фоновых различий в вибрации, трость позволяет различать объекты, находящиеся на пути идущего. Различение объекта связано с резким изменением фонового уровня вибрации – прерывания её резким ударом, или исчезновением ви­брации из-за отсутствия препятствия: «Мы ориентируемся, вот, мусорница какая-то, врезался в нее, вот и замечательно, значит, через какое-то время нужно поворачивать … или столбики, которые не позволяют машинам въезжать на тротуары. Вот это очень удобно» (Геннадий).

Такое столкновение с объектом служит ориентиром для смены траектории движения и корректировки маршрута или для локальной корректировки в рамках заданной траектории:” Идешь-идешь, раз, тебе попадается машина, потом идешь, у тебя есть участок, где настежь открыта дверь в магазине, у которой все время стоят грузовики, в которые грузят продукты, и ты идешь и врезаешься в эту дверь или грузовик. Нужно его обойти (Мария).”

Аналогичным образом в практику тактильного ориентирования встраиваются объекты меньшего размера, расположенные обычно в закрытых помещениях и воспринимаемые с помощью прикосновений рук. Например, выполненные шрифтом Брайля указатели или прочие элементы. Так, описывая маршруты внутри университета, одна из участниц опроса рассказала о доске с прикрепленными на ней объявлениями как об ориентире по дороге к аудитории: «На четвертом этаже, чтобы дойти до преподавательской, можно коснуться гвоздей, которые там висят с бумажками» (Анастасия).

Вторым способом ориентирования в пространстве является вестибулярная чувствительность. Вестибулярные ориентиры состоят из рефлексии незрячим человеком своих ощущений, вызванных сменой направления, наклоном поверхности или резкими перепадами высот. Так, признаком окончания маршрута может стать замеченное информантом углубление в тро­туаре: «Потом, когда бордюр заканчивался, там было такое небольшое углубление, которое я ногами чувствовала, бежала обратно» (Анастасия).

Вестибулярные ориентиры могут свидетельствовать как о правильности, так и об ошибочности направления, в котором двигается незрячий человек. Например, увеличенное расстояние между платформой и выходом из вагона электрички означает, что опрашиваемы пропустил нужную ему станцию.

Третий способ ориентирования в пространстве связан с навыком, названным информантами «эхолокация». Эхолокация предполагает чувствительность к аудиальной среде города. Используя ее, незрячие люди составляют представление об окружающем пространстве, основываясь на расположении и специфике раздающихся в нём звуков. Незрячие горожане могут ориентироваться как на особый аудиальный фон, присущий определенным локациям, например, шум дороги или гул электростанции, так и на отдельные звуки, включая созданные в рамках программы адап­тации города аудиальные сигналы светофоров. В частности, ориентиром могут служить различные музыкальные жанры, играющие в расположен­ных на пути магазинах: «Музыка в ЦУМе играет, там обычно джаз какой-то, а дальше какие-то магазинчики, там обычно классическая музыка, чаще всего Чайковский играл» (Геннадий).

К ориентирующим фоновым характеристикам можно отнести разницу акустики в различных помещениях или между помещением и открытым пространством. Эхолокация оказывается особенно полезным инструментом для оценки перспективы и направления движения.

По сравнению с другими модальностями, например тактильной, слух позволяет незрячим пешеходам ориентироваться на больших расстояниях. Потоки людей и машин, пере­мещающиеся параллельно с идущим незрячим, неизбежно оставляют ауди­альный след, повторяющий контуры, направления и повороты улиц и прочих маршрутов.

Таким образом, предстоящий поворот можно услышать быстрее по звуку проезжающих и заворачивающих машин, или проходящих людей, чем почувствовать тростью. Помимо звуков, которыми наполнена окружающая среда, ориентирующим может быть отражение звука, издаваемого самим идущим.

Такой способ ориентации особенно эффективно помогает в закрытых пространствах, заменяя тактильное ориентирование: “Я могу щёлкать пальцами и у меня отражается небольшая картинка – вот машина стоит припаркованная, если рядом кусты – я тоже пойму, если рядом забор – я это тоже пойму … с 5 лет мы с мамой начали называть окружающие предметы, и мама подумала, что мы видим. Но, понятное дело, это невозможно, и врачи сказали, что это не может быть … Мы ходили на прогулку, мама говорила, давайте посмотрим, что рядом – и мы с сестрой называли предметы … Даже когда в музыкальную школу ездила – там я очень быстро сориентировалась и ходила без трости» (Мария).

Практика освоения маршрута связана с запоминанием или «картогра­фированием» наиболее устойчивых объектов среды и их ситуативной верификацией при помощи попеременного включения упомянутых навыков.

Вернемся к техническим аспектам создания устройств для ориентировки и/или навигации незрячих пешеходов. В настоящее время современные варианты «белой» трости используют сонар и спутниковые системы позиционирования, ИИ и видеокамеры, однако они не могут заменить традиционную белую трость.

 Основываясь на информации от незрячих и испытаниях собственных разработок, изложу собственное видение данной проблемы и сформулирую требования к подобным навигационным устройствам.

Условно устройства навигации можно разделить на три группы: дальняя, средняя и ближняя.

Первая группа предназначена для определения положения человека либо пункта движения в масштабах страны, города, улицы, дома. В таких устройствах используется GPS, интернет, распознавание образов и их вербальное описание. Для этих устройств характерно большой объем передаваемой человеку информации и, как следствие этого, относительно большое время ее получения. Поэтому эти устройства позволяют ориентироваться глобально, но не могут помочь незрячему в локальном перемещении.

 Вторая группа устройств предназначена для определения направления локального движения, определение положения незрячего относительно окружающих его препятствий, желательно с распознаванием относительной скорости и направления движения.  Дальность действия таких система составляет от пяти метров до нескольких десятков метров.

Третья группа устройств предназначена для определения безопасного маршрута движения человека, предотвращения столкновений, указания стороны обхода препятствий и контроля рельефа поверхности движения.   Эти устройства фактически должны реализовать функции белой трости, обеспечить высокую скорость передачи информации человеку и не создавать для него усложнения процесса движения.  

Исходя из специфики навигации незрячего человека, результатов опроса и результатов испытания можно сформулировать общие требования к таким устройствам навигации:  

1)    Малый вес;

2)    Малые  размеры;

3)    Малая  цена;

4)    Свободные руки;

5)    Свободные уши;

6)    Высокая скорость получения информации человеком.

Теперь рассмотрим существующие решения, которые можно найти в интернете. 

 1)  Студент Василеиос Цормпацудис (Vasileios Tsormpatzoudis 2016) из Манчестерского университета создал прототип ультразвукового наконечника для трости, который позволяет слепым и слабовидящим определять препятствия на расстоянии до полуметра. Краткое описание устройства и необходимые для изготовления файлы опубликованы на форуме компании National Instruments.

Устройство под названием mySmartCane представляет собой сферический наконечник трости с ультразвуковым датчиком расстояния. Датчик подключен к вычислительной платформе NI myRIO, которая переводит показания датчика в звуковой сигнал, подаваемый в наушники пользователя.
Устройство под названием mySmartCane представляет собой сферический наконечник трости с ультразвуковым датчиком расстояния. Датчик подключен к вычислительной платформе NI myRIO, которая переводит показания датчика в звуковой сигнал, подаваемый в наушники пользователя.

myRIO реализованы некоторые простые математические вычисления для формирования и обработки сигнала. Например, чтобы повысить точность недорогого ультразвукового датчика, применен  алгоритм усреднения  который вычисляет  среднее «расстояние до объекта» за последние 10 выборок. Это значение расстояния до объекта используется для генерации серии слышимых «щебетаний», частота которых зависит от обнаруженного расстояния.  

Кроме того, код сравнивает расстояние до объекта с настраиваемым пользователем пределом «максимального расстояния». По умолчанию максимальное расстояние составляет 50 см, поскольку средний шаг человека равен 35 см, и следовательно, все, что больше 50, немного избыточно.

 2)    Sunu Band: «умные» часы для слепых людей (2017. Цена 45 тысяч руб.)

Ультразвуковой сонар . Гаджет создает вибрацию, которая сильнее либо слабее в зависимости от того, насколько близка или далеко объект.
Ультразвуковой сонар . Гаджет создает вибрацию, которая сильнее либо слабее в зависимости от того, насколько близка или далеко объект.

3)    Экспериментальный проект Microsoft (2018) реализован под руководством Майка Синклера. https://www.microsoft.com/en-us/research/publication/enabling-people-visual-impairments-navigate-virtual-reality-haptic-auditory-cane-simulation-2/

Кроме традиционного шлема, в набор входит пояс с металлическим стержнем, который управляет специальной тростью. При помощи этого устройства незрячие смогут ощущать факт столкновения с различными предметами.
Кроме традиционного шлема, в набор входит пояс с металлическим стержнем, который управляет специальной тростью. При помощи этого устройства незрячие смогут ощущать факт столкновения с различными предметами.

Пользователь может передвигать свободно тростью, которая оснащена специальными датчиками и тормозной системой. В момент столкновения трости с виртуальным предметом незрячий человек ощущает вибрацию, а движение трости автоматически останавливается. При этом система издает звук, который характерен исключительно для тех или иных реальных предметов.

 4)    Команда студентов из американского Техасского университета A&M разработали "умную" трость, которая способна помогать незрячим людям избегать препятствия (2018). Устройство, получившее название The Navigational & Object Visual Assistant (NOVA) и существующее пока в виде прототипа, способно испускать ультразвуковой сигнал по направлению движения пользователя и вибрировать, если обнаруживает что-то на пути.

 

Ультразвуковая трость для незрячих
Ультразвуковой сенсор подключен к моторчикам, которые вибрируют, причем чем сильнее сигнал от ультразвукового датчика, тем сильнее вибрация. Сенсор можно настроить таким образом, чтобы он сосредоточился на обнаружении объектов, находящихся выше пояса человека, т.е. на том, что очень сложно заметить с помощью обычной белой трости.

5)    Умная  белая трость разработанная в Стэнфордском университете в США (techxplore.com 2021, Себестоимость 36 тысяч руб.) помогает незрячим людям безопасно и эффективно ориентироваться в окружающей среде.  Используя технологии автономных транспортных средств, исследовательская группа создала трость, которая помогает людям обнаруживать и идентифицировать препятствия, легко передвигаться вокруг этих объектов и следовать маршрутам как в помещении, так и на улице. Информацию о своей разработке ученые опубликовали в журнале Science Robotics.  Это не первое такое устройство. Ранее разработанные сенсорные трости могут быть тяжелыми и дорогими - весом до 20 кг и стоимостью около 6 000 долларов. 

Трость весит  три килограмма, может быть собрана в домашних условиях из готовых деталей и бесплатного программного обеспечения с открытым исходным кодом и обходится пользователю в 400 долларов. Исследователи предоставляют открытый доступ к каждому аспекту проекта.

Трость оснащена лидаром, который обычно используют в беспилотных автомобилях, а также датчиками GPS, акселерометром, магнитометром и гироскопом. Вся эта начинка отслеживает положение, скорость и направление пользователя.
Трость оснащена лидаром, который обычно используют в беспилотных автомобилях, а также датчиками GPS, акселерометром, магнитометром и гироскопом. Вся эта начинка отслеживает положение, скорость и направление пользователя.
 На конце трости установлено небольшое колесо с датчиком, которое помогает не терять связь с поверхностью. Трость использует алгоритмы поиска пути на основе SLAM — метода одновременной локализации и построения карты — и на основе полученных данных  принимает решение, куда пойти пользователю.
 На конце трости установлено небольшое колесо с датчиком, которое помогает не терять связь с поверхностью. Трость использует алгоритмы поиска пути на основе SLAM — метода одновременной локализации и построения карты — и на основе полученных данных  принимает решение, куда пойти пользователю.

Во всех экспериментах данная  трость увеличивала скорость ходьбы незрячих участников на 18 ± 7% и участников с ослабленным зрением на 35 ± 12% по сравнению с белой тростью. Увеличение скорости ходьбы может быть связано с точным управлением, снижением когнитивной нагрузки, меньшим количеством контактов с окружающей средой и большей уверенностью участников. Вращающийся наконечник трости может направлять пользователя для поворота в нужной точке на нужное количество градусов.

6)    Разработчик старпата, Куршат Джейлан, сам страдающий нарушениями зрения, хотел помочь другим людям с подобной проблемой.

Так появилась новая умная трость WeWalk. Трость с поддержкой GPS и голосовым помощником может сообщить пользователям о том, что происходит вокруг них, например, они проходят мимо McDonald's или находятся у выхода из метро. Ультразвуковой датчик обнаруживает объекты на уровне тела и головы и подаёт предупреждающую вибрацию в ладонь.
Так появилась новая умная трость WeWalk. Трость с поддержкой GPS и голосовым помощником может сообщить пользователям о том, что происходит вокруг них, например, они проходят мимо McDonald's или находятся у выхода из метро. Ультразвуковой датчик обнаруживает объекты на уровне тела и головы и подаёт предупреждающую вибрацию в ладонь.

 7)     Устройство «Робин» Московской некоммерческой Лаборатории «Сенсор-Тех» (Сколково,2021, цена от 150 тысяч руб., вес 0.5 кг, размер 14x8x8 см3)

В рекламе сказано: Используя технологии ИИ, « Робин» распознает более 50 предметов, среди которых: предметы мебели; бытовая техника; еда и продукты; гигиенические предметы; животные и др. Расстояние до предметов «Робин» определяет ультразвуковым сонаром и говорит об этом владельцу в наушник либо вибратором.
В рекламе сказано: Используя технологии ИИ, « Робин» распознает более 50 предметов, среди которых: предметы мебели; бытовая техника; еда и продукты; гигиенические предметы; животные и др. Расстояние до предметов «Робин» определяет ультразвуковым сонаром и говорит об этом владельцу в наушник либо вибратором.

Мнение незрячего человека о данном устройстве (2023):   

Приведенные выше устройства в основном относятся ко второй группе навигационных устройств и обладают следующими существенными характеристиками: Вес от 0.5 до 3 кг, цена от 40 до 150 тысяч рублей. Для определения расстояния используется ультразвуковой датчик.  Для связи с человеком используется либо голос, либо вибрации. Традиционная белая трость выполняет роль устройства навигации третьего типа.

Комментарии (10)


  1. mavissig
    09.07.2023 06:49

    Это очень круто)

    Забавно, что я буквально 10 минут назад читал твои комментарии у парнишки, который собирал прибор для тестирования плат. Ты там скидывал фотографию и описание своего устройства, думаю, было бы интересно почитать и опа)


  1. Dynasaur
    09.07.2023 06:49

    ИМХО, ничего лучше "зрения языком" (BrainPort, https://hi-news.ru/technology/slepye-lyudi-mogut-videt-mir-pri-pomoshhi-yazyka-kak-takoe-vozmozhno.html) для возвращения зрения слепым не придумано.


    1. nikolz Автор
      09.07.2023 06:49
      +2

      Возможно, но из популярных новостей какие-либо выводы о возможности применения данной технологии для навигации, в том смысле в котором я это изложил , сделать невозможно.

      Можете привести ссылку на технические характеристики опытного образца подобного устройства, его предполагаемую стоимость, а так же объяснить, как человек реально будет ходить и разговаривать с таким устройством?

      Пока нашел лишь это:

      "BrainPort использует язык вместо кончиков пальцев, живота или спины, используемых другими системами. Язык более чувствителен, чем другие участки кожи - нервные волокна расположены ближе к поверхности, их больше и отсутствует роговой слой (внешний слой омертвевших клеток кожи), который действует как изолятор. Для стимуляции нервных волокон на языке требуется меньшее напряжение - от 5 до 15 Вольт. Кроме того, слюна содержит электролиты, свободные ионы, которые действуют как электрические проводники, поэтому она помогает поддерживать ток между электродом и тканью кожи. А область коры головного мозга, которая интерпретирует данные о прикосновениях с языка, больше, чем области, обслуживающие другие части тела, поэтому язык является естественным выбором для передачи тактильных данных в мозг. "

      и далее ...

      " Для создания тактильного видения BrainPort использует камеру для захвата визуальных данных. Оптическая информация - свет, который обычно попадает на сетчатку, - которую улавливает камера, находится в цифровой форме, и она использует радиосигналы для отправки единиц и нулей в центральный процессор для кодирования. Каждый набор пикселей в датчике освещенности камеры соответствует электроду в матрице. Центральный процессор запускает программу, которая преобразует электрическую информацию камеры в пространственно закодированный сигнал. Закодированный сигнал представляет различия в пиксельных данных как различия в характеристиках импульса, таких как частота, амплитуда и длительность. Многомерная информация изображения принимает форму различий в импульсном токе или напряжении, длительности импульса, интервалах между импульсами и количестве импульсов в пачке, среди других параметров. Согласно патенту США 6 430 450, лицензированному Wicab для приложения BrainPort: В той степени, в какой опытный пользователь может одновременно различать множество этих характеристик амплитуды, ширины и частоты, импульсы могут передавать многомерную информацию во многом таким же образом, как глаз воспринимает цвет за счет независимой стимуляции различных цветовых рецепторов.

      Электродная матрица получает результирующий сигнал через схему стимуляции и подает его на язык. Мозг в конечном итоге учится интерпретировать и использовать информацию, поступающую с языка, как если бы она поступала от глаз.

      После обучения в лабораторных тестах слепые испытуемые смогли воспринимать визуальные характеристики, такие как вырисовывание, глубина, перспектива, размер и форма. Испытуемые все еще могли чувствовать пульсации на своем языке, но они также могли воспринимать образы, генерируемые этими импульсами своим мозгом. Испытуемые воспринимали объекты как находящиеся "где-то там" перед ними, отдельно от их собственных тел. Они могли воспринимать и идентифицировать буквы алфавита. "

      https://science.howstuffworks.com/brainport.htm

      Возможно этот метод можно использовать как интерфейс передачи информации, но не как навигационное устройство. А это две большие разницы.


      1. Dynasaur
        09.07.2023 06:49

        Этот метод используется фактически как слабый чёрно-белый глаз. То есть это лучше и больше, чем навигационное устройство. Пациент реально начинает видеть, сигналы поступают в зрительную кору мозга и формируют там изображение, как от глаза.


        1. nikolz Автор
          09.07.2023 06:49
          +1

          Я не спорю. Если вы применяете этот метод, то с интересом почитаю о Ваших результатах ориентации и передвижении с помощью этого метода.


  1. ArgentumPhoenix
    09.07.2023 06:49
    +3

    Я некоторое время назад рассматривал перспективы использования ИИ для ориентирования незрячих в городе. Тема очень близка, поскольку сам полностью незрячий.
    В целом, сделать очередную умную трость, которая будет давать подсказки в духе: "Впереди светофор. Красный свет" можно. Но на мой взгляд, пользы от этого будет не так уж много. Надо либо делать робота-поводыря, который полностью заменит собаку, либо "курить" в сторону замены зрения. Тут в комментах про БрейнПорт писали. Вот, вполне вариант. Где-то ещё попадалась статья, что в СССР проводили эксперименты по формированию сетчатки на спине за счёт вибромоторов и камеры. Но ссылок, увы, дать не могу, поэтому может и не правда.
    По факту, единственный надёжный вариант - чип, который будет принимать сигнал с камеры и перенаправлять в мозг. Пока такая технология не станет доступной, проблема с ориентированием на местности будет сохраняться. Приведу простой пример из своей жизни: идёшь по GPS в незнакомом месте. Он тебе сообщает, что ты прибыл, но ничего подобного. Погрешность 10 метров. И ещё минут 5 тратишь на то, чтобы найти нужную дверь. И хорошо, если это, действительно, дверь, а не что-то более экзотическое.


    1. nikolz Автор
      09.07.2023 06:49
      +3

      Проблема сложная. Свои устройства делаю не для будущего счастья всего человечества, а для нужд конкретного незрячего человека. Во второй части я расскажу, что делал, какие результаты и почему кажущиеся наилучшие (очевидные) решения в реальности не работают.


  1. Bedal
    09.07.2023 06:49

    Кажется мне, камера, распознавание и голосовой рассказ о предметах в "поле зрения" значительно улучшит качество опознаваемой человеком картины. Вроде как это вполне доступная технология, породить подобное из автомобильных систем можно.

    "Справа бордюр 20см, навстречу слева на 11 часов идёт человек. Впереди в 7 метрах дорога" и т.п. вроде команды "стой" при обнаружении быстро движущегося объекта". Вибротрость не исключается, а выполняет роль ближней навигации.


    1. nikolz Автор
      09.07.2023 06:49

      Посмотрите в конце статьи ролик о существующем подобном решении, там наглядно показан результат применения камеры и рассказа, применительно к проезжающим мимо машинам.


      1. Bedal
        09.07.2023 06:49

        Спасибо. Просто я не смотрю ролики, это в подавляющем большинстве случаев крайне не информативно и слишком долго.

        Теперь - посмотрю.