Проект TuSion, резидент акселератора Future Technologies Университета ИТМО, разрабатывает программный алгоритм, позволяющий пользователям лучше распознавать собственные желания и эмоции, отслеживать поведение потребителя или настраивать гаджеты «умного дома» через нейроинтерфейс и связанное с ним приложение. О том, как это работает, расскажем ниже.
Flickr / MattysFlicks / CC
В самом общем смысле нейроинтерфейс – система, позволяющая считывать активность головного мозга. В будущем нейроинтерфейсам обещают широкое распространение – и футурологи, и разработчики уже сейчас предвидят широкое распространение устройств, реагирующих не на наши слова или действия, а на желания и мысленные команды.
Сейчас нейроинтерфейсы разрабатываются в первую очередь под проекты виртуальной реальности – для их обозначения иногда используется термин full dive VR (полное виртуальное погружение). Например, проект MindMaze, работающий по схеме нейроинтерфейс плюс ПО заявляет о создании нейроплатформы виртуальной реальности.
Изначально проект разрабатывался в сфере медицинской индустрии как помощь в реабилитации пациентов с травмами головного мозга. Однако сейчас возможности MindMaze активно используются в сфере VR – нейроинтерфейс анализирует сигналы мозга и может предсказать эмоции человека за мгновения до их проявления: такое четкое распознавание и отображение человеческих эмоций может придать дополнительную выразительность и реалистичность аватарам в играх и приложениях.
Что касается разработки проекта TuSion, то ее готовят к использованию в самых разных целях – создатели компании считают, что потенциал разработки может быть раскрыт как в сфере виртуальной реальности, так и, например, в сфере «умного дома». Владимир Кублашвили, один из основателей проекта, отмечает: «Если мозг будет контролировать виртуальную действительность без каких-либо внешних манипуляторов, то это может быть даже более естественно для человека [по сравнению с джойстиками и другими дополнительными гаджетами]».
Нейроинтерфейс, который может использоваться для этой цели, должен представлять собой носимое устройство, которое регистрирует не только электрическую активность мозга, но и физические признаки эмоций, движение глаз – в том числе и для того, чтобы сообщать владельцу что-то интересное о нем самом. Например, предсказывать, какие объекты с большой вероятностью понравятся пользователю, на основе его предыдущих – иногда незаметных и даже неосознаваемых – реакций.
Для того, чтобы «привязать» нейроинтерфейс к мозгу, необходимо специальное приложение для считывания и передачи сигналов. В TuSion разработали такое – оно считывает электрическую активность мозга и регистрирует уровень концентрации или, наоборот, расслабления в соответствии показаниями электроэнцефалограммы.
Этот процесс в приложении визуализирован. На хакатоне по интеллектуальным системам и нейротехнологиям виртуальной реальности, который прошел в Санкт-Петербурге в прошлом году, команда проекта, используя нейроинтерфейсы Muse и NeuroSky, представила приложение, которое позволяло манипулировать арт-объектами на экране мобильного устройства за счет «напряжения мысли». Объекты на экране становились ярче или бледнее в зависимости от уровня концентрации пользователя.
Сейчас команда проекта занимается получением дополнительной статистики взаимодействия пользователя с нейроинтерфейсом и проводит ранние тесты на добровольцах в Институте мозга человека им. Н.П. Бехтеревой. Такие исследования, по словам Владимира, помогают «навести мосты между мозгом человека и нейроинтерфейсом» – в том числе и для создания медицинских разработок.
Кстати, исследования, связанные с использованием нейроинтерфейсов в медицине, проводятся довольно давно – при этом не всегда в данном случае под нейроинтерфейсом понимается легкий носимый гаджет: многое зависит от того, какая технология используется для считывания показателей работы мозга. Например, носимые гаджеты, использующиеся в проекте TuSion, обычно собирают данные электроэнцефалограммы. А нейроинтерфейсы, предназначенные для реабилитации пациентов после тяжелых травм, могут выглядеть намного более громоздкими и использовать технологию магнитной энцефалографии (или функциональной магнитно-резонансной томографии).
В России проектов, работающих в сфере нейротехнологий, сейчас немного – в том числе потому, что направление это относительно новое. «На этом рынке пока что слишком много неизвестных: возникают вопросы медицинских ограничений использования нейротехнологий, стартапы не понимают, куда пойдет их технология, на какой рынок им выходить, с кем работать, как это будет выглядеть. Мы будем стараться исправлять эту ситуацию», — комментирует ситуацию Екатерина Егошина, директор Центра проектного управления и продвижения Университета ИТМО.
Для этой цели Университет ИТМО запустил на кафедре Компьютерных образовательных технологий новую программу бакалавриата «Нейротехнологии и программирование» (на кафедре есть и близкая по тематике магистерская программа – «Моделирование когнитивных процессов в нейроинформационных системах»).
Это направление подготовки ставит целью расширить возможности и интересы будущих выпускников по сравнению с «обычными» программистами: «Нужно, чтобы студенты видели и понимали, что применение их навыкам есть не только в «чистом» программировании, что есть проекты, которые возникают на стыке программирования и, например, физиологии», – говорит Екатерина Егошиха.
P.S. Чтение по теме: Университет ИТМО начинает подготовку IT-специалистов в области нейротехнологий.
Flickr / MattysFlicks / CCКак работает нейроинтерфейс
В самом общем смысле нейроинтерфейс – система, позволяющая считывать активность головного мозга. В будущем нейроинтерфейсам обещают широкое распространение – и футурологи, и разработчики уже сейчас предвидят широкое распространение устройств, реагирующих не на наши слова или действия, а на желания и мысленные команды.
Сейчас нейроинтерфейсы разрабатываются в первую очередь под проекты виртуальной реальности – для их обозначения иногда используется термин full dive VR (полное виртуальное погружение). Например, проект MindMaze, работающий по схеме нейроинтерфейс плюс ПО заявляет о создании нейроплатформы виртуальной реальности.
Изначально проект разрабатывался в сфере медицинской индустрии как помощь в реабилитации пациентов с травмами головного мозга. Однако сейчас возможности MindMaze активно используются в сфере VR – нейроинтерфейс анализирует сигналы мозга и может предсказать эмоции человека за мгновения до их проявления: такое четкое распознавание и отображение человеческих эмоций может придать дополнительную выразительность и реалистичность аватарам в играх и приложениях.
Что касается разработки проекта TuSion, то ее готовят к использованию в самых разных целях – создатели компании считают, что потенциал разработки может быть раскрыт как в сфере виртуальной реальности, так и, например, в сфере «умного дома». Владимир Кублашвили, один из основателей проекта, отмечает: «Если мозг будет контролировать виртуальную действительность без каких-либо внешних манипуляторов, то это может быть даже более естественно для человека [по сравнению с джойстиками и другими дополнительными гаджетами]».
Нейроинтерфейс, который может использоваться для этой цели, должен представлять собой носимое устройство, которое регистрирует не только электрическую активность мозга, но и физические признаки эмоций, движение глаз – в том числе и для того, чтобы сообщать владельцу что-то интересное о нем самом. Например, предсказывать, какие объекты с большой вероятностью понравятся пользователю, на основе его предыдущих – иногда незаметных и даже неосознаваемых – реакций.
Зачем нейроинтерфейсу нужно приложение
Для того, чтобы «привязать» нейроинтерфейс к мозгу, необходимо специальное приложение для считывания и передачи сигналов. В TuSion разработали такое – оно считывает электрическую активность мозга и регистрирует уровень концентрации или, наоборот, расслабления в соответствии показаниями электроэнцефалограммы.
Этот процесс в приложении визуализирован. На хакатоне по интеллектуальным системам и нейротехнологиям виртуальной реальности, который прошел в Санкт-Петербурге в прошлом году, команда проекта, используя нейроинтерфейсы Muse и NeuroSky, представила приложение, которое позволяло манипулировать арт-объектами на экране мобильного устройства за счет «напряжения мысли». Объекты на экране становились ярче или бледнее в зависимости от уровня концентрации пользователя.
Сейчас команда проекта занимается получением дополнительной статистики взаимодействия пользователя с нейроинтерфейсом и проводит ранние тесты на добровольцах в Институте мозга человека им. Н.П. Бехтеревой. Такие исследования, по словам Владимира, помогают «навести мосты между мозгом человека и нейроинтерфейсом» – в том числе и для создания медицинских разработок.
Кстати, исследования, связанные с использованием нейроинтерфейсов в медицине, проводятся довольно давно – при этом не всегда в данном случае под нейроинтерфейсом понимается легкий носимый гаджет: многое зависит от того, какая технология используется для считывания показателей работы мозга. Например, носимые гаджеты, использующиеся в проекте TuSion, обычно собирают данные электроэнцефалограммы. А нейроинтерфейсы, предназначенные для реабилитации пациентов после тяжелых травм, могут выглядеть намного более громоздкими и использовать технологию магнитной энцефалографии (или функциональной магнитно-резонансной томографии).
В России проектов, работающих в сфере нейротехнологий, сейчас немного – в том числе потому, что направление это относительно новое. «На этом рынке пока что слишком много неизвестных: возникают вопросы медицинских ограничений использования нейротехнологий, стартапы не понимают, куда пойдет их технология, на какой рынок им выходить, с кем работать, как это будет выглядеть. Мы будем стараться исправлять эту ситуацию», — комментирует ситуацию Екатерина Егошина, директор Центра проектного управления и продвижения Университета ИТМО.
Для этой цели Университет ИТМО запустил на кафедре Компьютерных образовательных технологий новую программу бакалавриата «Нейротехнологии и программирование» (на кафедре есть и близкая по тематике магистерская программа – «Моделирование когнитивных процессов в нейроинформационных системах»).
Это направление подготовки ставит целью расширить возможности и интересы будущих выпускников по сравнению с «обычными» программистами: «Нужно, чтобы студенты видели и понимали, что применение их навыкам есть не только в «чистом» программировании, что есть проекты, которые возникают на стыке программирования и, например, физиологии», – говорит Екатерина Егошиха.
P.S. Чтение по теме: Университет ИТМО начинает подготовку IT-специалистов в области нейротехнологий.
Поделиться с друзьями
Комментарии (2)
DrZlodberg
22.04.2017 10:34КПДВ изначально вызывает ассоциацию скорее с фразой «управление СИЛОЙ мысли».
Toshiro
Это все замечательно, но почему никто не делает следующий шаг хоть в каком-то виде? Все существующие на сегодняшний день нейроинтерфейсы не занимаются собственно честной интерпретацией активности мозга и не делают попыток нащупать границы разума.
Вместо этого интерпретация и границы определяются в рамках моделей этих приложений и происходит обучение человека — человек постепенно учится подстраивать свою мозговую активность так, чтобы железо воспринимало ее с предсказуемым результатом.
Это прекрасно если нужно сделать нейроинтерфейс для управления танком в котором есть вперед-назад на 2 гусеницы, влево-вправо башню и вверх-вниз ствол пушки. Можно обкатать на дронах-моделях, разработать тренинг на 1 месяц для солдат и вперед только в путь.
Но это не годится для более сложных и интересных вещей, таких как рисование, музыка, или хотя бы набор текста с комфортной скоростью и усилием через такой интерфейс (придется подстраивать свое мышление под весь алфавит, а у нас примерно 7000 языков и диалектов на планете, в которых есть письменность).
Вы серьезно или прикалываетесь? Если серьезно — рекомендую перечитать научную (и не очень) фантастику на тему киберпанка начиная с 60-ых годов: Дика, Гибсона, Рюкера, Стерлинга, Суэнвика… А еще пересмотреть массу фильмов/аниме (и комиксов) где поднимается эта тема.
Простор для вдохновения колбасит человечество уже 30-40 лет, а вы пытаетесь убедить меня, что разработчики которые где-то нашли на это финансирование не знают куда с этим идти? Я прямо сходу могу начать сыпать примерами реализаций для этих технологий в быту, в развлечениях, в промышленности, в науке, в оборонке…
Так-что марш изучать классику, пока я не нашел достаточно бабла чтобы отобрать у вас этот рынок, потому что я в отличие от стартапов прекрасно знаю что с ним делать))))