В этой лекции руководитель компании «Интеллект и инновации» Егор Токунов рассказывает, как нейросети позволяют влиять на двигательные навыки человека и как они могут помочь в реабилитации больных с двигательными нарушениями.

Егор выступил в секции digital health на Yet another Conference 2017.




Все вы знаете фильм «Матрица». Вдохновившись просмотром, мы подумали: «А почему бы нам не сделать такую систему, где человек просто за короткое время, не используя никаких объяснений, может взять и получить какой-то новый двигательный навык?».

У нас недоставало двух параметров. Первое — что мы можем передать человеку в мозг? И второе — как ему это непосредственно в мозг передать? Однако мы подумали и нашли решение.



Я расскажу вам о пути, который мы прошли и который начался практически в 90-х, когда мы занимались со спортсменами на базе Российского государственного университета физической культуры и готовили их для участия в соревнованиях. Мы получали огромный объем информации о том, как происходит движение у спортсменов. Получая эти данные с помощью систем захвата движения и анализируя их, мы могли загружать их в специальные расчетные инструменты и получать оптимизированные движения, к которым нужно было привести технику спортсменов. Однако в процессе работы с тренерами мы поняли, что канал передачи данных тренеру, когда мы пытаемся что-то ему интерпретировать из полученных нами цифр, а тренер, в свою очередь, пытается это потом донести до спортсмена, работает очень неэффективно.



Поэтому мы подумали, что если понять, как же строится процесс управления непосредственно в мозгу спортсмена, то, перейдя на понятный и естественный язык правил, которыми при движении руководствуется человек, мы сможем наиболее просто и наиболее полно изложить ему, что же от него требуется, чтобы достичь результата.

Нами был поставлен эксперимент. В 2003 году была защищена диссертация по поводу применения нейронной сети и нечетких регуляторов для управления движениями. В качестве экспериментального образца был использован трехзвенник с гибкими тягами, которые эмулировали мышцы. Разработанная нейронная сеть была обучена на движениях человека. Потом была следующая задача: на основе этого обучения после получения какого-то воздействия в верхнюю часть трехзвенника восстановить равновесие. Обученная нейронная сеть отлично справлялась с этой задачей. Затем предстояло понять, каким образом строится управление трехзвенником. Для этого внутри нейронной сети была встроена система нечетких регуляторов, которая, в отличие современного классического механизма использования искусственного интеллекта, не представляла из себя черный ящик. Она была написана таким образом, чтобы мы потом могли посмотреть эти правила.



Также мы думали, каким образом мы можем донести эту информацию до человека, минуя какое-то объяснение. Понимая и видя эксперименты, которые ставили наши коллеги… 70% информации, которую человек использует для выполнения своих движений, идет от зрительного восприятия. В данном случае представлен классический пример использования так называемого redirected walking в виртуальной реальности, который позволял, показывая человеку нереальный мир и постоянно его доворачивая, заставить человека ходить, допустим, по кругу. При этом у человека создавалось полное впечатление, что он идет по бесконечной прямой.

Мы думали еще шире. Если мы подключим какие-то тактильные раздражители, эффект может стать еще сильнее. Также изучая литературу, мы нашли много примеров, подтверждающих это. В классическом виде здесь приведен пример, когда в дополнение к визуальной иллюзии человек получал еще тактильное раздражение. Несколько попыток повторений данного упражнения, привязка, допустим, шестого пальца к мизинцу по тактильным ощущениям, а также просьба к человеку пошевелить шестым пальцем дали ученым возможность регистрировать электрические импульсы и миографию с мышц мизинца.



Чтобы проверить, насколько наши догадки верны и применима ли эта система на реальном движении, мы разработали примитивный искусственный интеллект, который в то время мог обрабатывать эти данные и транслировать изменения в простые графические примитивы в режиме реального времени. Для этого была разработана программа, которая включала в себя тест на стабилографической платформе «Стабилан», где задачей испытуемого было повторять отклонение центра масс в соответствии с тем маркером, который он видел на экране. В данном примере красный столбик — маркер-эталон, а синий столбик — испытуемый, который стоял на платформе. Его задачей было повторить движение за красным маркером. В процессе мы оттестировали работу нейронной сети, которая действительно показала, что прогноз, который мы получали при работе сети, точно соответствовал тем ошибкам и коррекциям, которые во время своего движения приводил человек.

Еще мы попробовали добавить сюда дополнительный эффект. При выполнении этого движения мы начали усугублять ошибку человека, выполняя следящее движение. Чем больше мы усугубляли и чем раньше мы показывали ошибку человеку в режиме реального времени, тем быстрее и точнее он начинал корректировать свою тренировку. Тем самым мы добились следующего эффекта: ничего не объясняя, мы заставили человека выполнить некое идеальное движение, которое соответствовало оптимальной расчетной траектории.



Также на этом слайде представлена картина той самой первой нейронной сети, которую мы использовали. Ее особенность заключалась как раз в том, что здесь был применен Layer 2, который есть на слайде и который как раз и представлял из себя систему из нечетких правил. Вытаскивая правила, которые были основаны на понятном для человека языке и содержали такие указания, как «больше», «сильнее», «медленнее», «быстрее», и зная данные весов из следующего уровня, мы могли понять, какие правила этот человек чаще всего использует для выполнения того или иного движения. Такая схема давала нам возможность донести информацию человеку на том языке, на котором он сам выполнял и строил эти движения.

С развитием новых средств захвата и получения данных о движении мы начали думать в сторону более глубокого погружения человека для достижения наиболее сильного эффекта от воздействия нашей системы. Сначала мы использовали системы оптического захвата движений и пассивные маркеры. Где-то в 2015 году с появлением современных шлемов виртуальной реальности мы начали использовать систему захвата движения и трекинга SteamVR Tracking. Другое отличие заключалось в том, что по точности эти системы фактически идентичны, но вторая система давала гораздо бо?льшую доступность конечному пользователю.



В процессе работы нами было перепробовано огромное количество инструментов — мы хотели понять, какие способы воздействий и данные нам необходимы для обучения нейронных сетей и получения наиболее оптимального алгоритма воздействия на человека. Были использованы программы AnyBody Modeling System для изучения того, как работают мышцы, и расчета их параметров. Visual 3D — программа, которая обычно идет в комплекте с биомеханическими системами захвата движения и позволяет рассчитать механику движений, мощности, скорости в суставах и т. д. И — программа OpenSim для создания и соединения всего этого вместе для человека, который в нашем коллективе условно именовался Гомункулус. Внутри OpenSim мы соединяли все знания и пытались моделировать, как оказанное влияние повлияет на изменение моторной программы.

Мы смотрели и в сторону того, как оптимизировать систему с точки зрения педагогики. Путем экспериментов поняли, что современные и классические методы поощрения и наказания тоже очень эффективно действуют. И, мало того, имея данные о прогнозе движения человека, мы можем делать поощрения очень целенаправленными и показывать их заранее в реальном времени.

Проводя эксперименты с современными шлемами, мы увидели, что виртуальная реальность и тот уровень погружения, который она обеспечивает, поднимает эффективность нейропластичности в несколько раз.

В итоге мы объединили все предыдущие исследования и разработки в единую систему, которая позволяла, показывая человеку направленные зрительные иллюзии, заставлять его двигаться именно так, как мы хотим. Также мы проводили предварительные расчетные оптимизации заданных целевых движений по нужному нам параметру — скажем, в спорте это были трудозатраты, скорость движения, силы и энергия. Оптимизации давали возможность перестроить моторную программу путем практически прямой загрузки этой программы в мозг путем нескольких повторений данного упражнения либо с использованием средств виртуальной реальности, либо с помощью каких-то других средств классической визуализации: проекторов, телевизора.



Наш продукт мы перенесли в систему реабилитации, так как для нее отлично работают все схожие механизмы, если у человека сохранены когнитивные функции.



Система в настоящий момент состоит из трех основных компонентов: это оборудование, которое представляет из себя какую-то систему захвата движения, компьютер и система визуализации. Здесь применяется специальное ПО, включающее в себя облачную искусственную интеллектуальную систему для первичного получения данных о способе движений человека и его двигательном почерке. Она же на выходе может выдать другую нейронную сеть, которая потом применяется в реальном времени для прогноза движений. И методология, и сами упражнения для реабилитации разработаны нами в тесном сотрудничестве с научным центром неврологии РАН.

Решение сейчас делится на три уровня продукта. У каждого есть свои недостатки и преимущества. В частности, в решении Home применяется приставка Kinect, так что нет необходимости устанавливать на пациенте дополнительные датчики, но точность предсказаний и работы Kinect несколько ниже. Что, впрочем, делает ее очень доступной.

Решение Pro — промежуточный продукт, где в сочетании с безмаркерной системой захвата мы можем использовать шлем виртуальной реальности. Это такой оптимальный уровень, где достигается и достаточный уровень погружения, и, в принципе, достаточная точность.

Третье решение — B2B, которое использует полное погружение в виртуальную реальность. На человека надеваются дополнительные датчики, позволяющие с очень высокой точностью получить модель движений и — с использованием разработанных нами зрительных иллюзий и перечисленных алгоритмов — довести процесс реабилитации до наибольшей эффективности.



Наши коллеги, с которыми мы общались, говорят, что система найдет свое идеальное применение в том числе и при ДЦП, при реабилитации после онкологических операций, черепно-мозговых травмах и СДВГ. Мы сейчас движемся в эти области.

Но еще мы не забыли о наших истоках. Мы шли от спортсменов и разработали несколько примеров и кейсов для разработки и улучшения двигательных профессиональных навыков. В частности, здесь представлен случай, когда мы проводили эксперимент и провели тестирование 70 человек в виртуальном тире. Работа с нашей системой показала 50-процентный прирост точности стрельбы по сравнению с людьми в тестовой и контрольной группе, которые выполняли данное упражнение просто путем повторений. Указанный сет включал порядка 600 выстрелов, из которых первые 100 использовались для обучения нейронной сети, 400 — в качестве процесса тренировки, а последние 100 — для определения контрольного результата.



Подведем итог. Куда мы движемся? В настоящий момент нами подтверждено, что эффективность по сравнению с простой системой повторения — на 50% выше. Мы думаем, что при совершенствовании разработанных нами алгоритмов и направленных иллюзий, а также при увеличении слоев нейронной сети и подключении сложносоставных движений данная система тренировки или реабилитации будет эффективнее, чем работа просто со специалистом. Сейчас идет работа над сложносоставными движениями, разработка. Третий уровень, о котором мы пока только задумываемся: как соединить нашу систему с какими-нибудь когнитивными функциями и системой принятия решений. Спасибо за внимание.