Emotiv Insight — это небольшой портативный нейроинтерфейс. Пару лет назад (в 2013 году) я проспонсировал этот проект на Kickstarter на сумму 330 $ (сейчас доступен от 299 $). Изначальная дата отправки устройств была назначена на март 2014 года, но получил я его только сегодня.
В этом посте я кратко опишу первое знакомство с Emotiv Insight, после будет опубликована статья с обзором SDK и ПО с точки зрения программиста.
Характеристики
- Цена: от 299 $
- 5 ЭЭГ сенсоров
- Использует LE Bluetooth 4.0
- Датчики: гироскоп, акселерометр, магнитометр
- Аккумулятор: Литий-полимерный 480mAh, обещанное время работы — минимум 4 часа
- Вес: не нашел в документации и не нашел достаточно чувствительных весов, но я практически не ощущаю устройство на голове.
- Поставляемое ПО умеет распознавать мимику и некоторые эмоции (улыбка, подмигивание, удивление, заинтересованность), так же имеет возможность распознавать некоторые мысленные команды (вверх, вниз, тяни, толкай и т.д.) все это естественно требует обучения и калибровки. Промо видео
Распаковка и внешний вид
Пришла квадратная симпатичная коробочка, в похожей продаются Mac Mini.
Внутри имеем:
- 4 отдельных сенсора.
- Зарядный USB кабель.
- Дуга с портом для сенсора.
- Основная часть с кнопкой «вкл», портом для зарядки и одним встроенными сенсором + 3 порта для установки сенсоров которые идут отдельно. И один порт для установки дополнительной дуги с сенсором.
Сенсоры мягкие и полупрозрачные. Все сенсоры, кроме встроенного в основную часть, взаимозаменяемы и зачем-то неравномерно покрашены в зеленый.
В сборе выглядит так:
Дуги довольно гибкие, вся конструкция сидит на голове удобно, но сначала мне иногда неприятно давила под левым ухом вот эта деталь:
ПО
Следует отметить, что качество всего ПО и документации, попадавшихся мне, было, прямо скажем, плохим. Нестабильная работа, не интуитивные интерфейсы. Все ПО разбросано по разным местам, требует установки плагинов, не работает на некоторых браузерах, сейчас не поддерживается iOS и т.д.
Первое с чем мы сталкиваемся — это Control Panel. Работает через браузер с помощью плагина. Мне удалось запустить ее на Safari, сначала ставим плагин — затем запускаем в браузере. Включаем Emotiv Insight и включаем Bluetooth на компьютере и все заработало.
Зеленый цвет показывает нам, что качество контакта датчиков с моей головой хорошее, а черный — что его нет. Нужно плотнее прижать датчик к макушке, видимо волосы мешают.
Первым делом идем в раздел Facial Expressions в control panel.
Это я радуюсь что пишу статью на Geektimes:
А это я злюсь без причины
Программа неплохо детектит подмигивания, но довольно часто происходят ложные срабатывания на какие-либо выражения лица. Поэтому девушку всегда колбасит, может быть более тщательное обучение способно это исправить.
Можно обучить 4-м выражениям:
- Хмурый
- Удивление
- Улыбка
- Напряжение
Теперь идем в раздел Performance Metrics
Наверное эти данные могут быть самыми полезными для каких-то реальных исследований.
Этот график отображает активность моего мозга в момент ознакомления с графиком активности моего мозга:
Как видно он дает нам какую-то оценку по таким параметрам как:
Заинтересованность, вовлеченность, концентрация, расслабление, мгновенное возбуждение, длительное возбуждение.
Теперь самое интересное — мысленные команды
Здесь мы пытаемся мысленно управлять объектом, сначала мы обучаем программу тому какие наши мысли интерпретировать как «Тяни», «Толкай», «Влево» и т.д. При этом у каждого действия есть показатель интенсивности.
Главное разочарование: в один момент времени могут быть активны только две команды.
То есть мы либо только тянем или толкаем, либо только поворачиваем или поднимаем и т.д.
Мы не можем применять полный набор действий к объекту.
Здесь я нашел еще несколько приложений и примеров которые можно скачать.
Там есть 2 интересные программы.
Первая — это Emotiv Xavier Emo Key — программа которая может реагировать на события которые я описал выше (Мимика, мысленные команды и т.д.) и отправлять события клавиатуры (Short cut или просто текст) в приложение с которым ты сейчас работаешь.
Звучит классно, не правда ли? Можно например просто подумать о том чтобы открыть диалог поиска или сменить раскладку клавиатуры. Но не стоит забывать об ограничении в 2 команды в Control Panel — наверное оно там стоит неспроста, и вряд ли нам удастся использовать больше команд здесь. К тому же, мне ничего из этого пока не удалось заставить работать на Mac, я отправил пару запросов в тех поддержку и жду ответов, надеюсь пользователям Windows повезло больше.
Вот так выглядит эта программа.
Вторая программа будет больше интересна программистам.
Это эмулятор устройств Emotiv — Emotiv Xavier Composer.
Собственно эмулирует отправку различных команд или параметров с мозга.
Также существует магазин приложений emotiv.com/store/app
Если у вас Mac — то вам не повезло, никаких сторонних приложений для Mac в официальном магазине нет (по фильтру Mac / Insight выдается одно, но оно на самом деле только под Windows)
Еще имеется доступ к SDK, с помощью которого можно самому создавать ПО, обзор SDK и восприятие Emotiv Insight с точки зрения программиста будет оформлено в другом посте.
Недостатки
- Не все выглядит гладко. Где-то не плотно стыкуются детали, где-то асимметрично вылиты сенсоры
- На данный момент мало ПО
- Качество ПО
- На данный момент не работает с iOS
- Нельзя одновременно заряжать и использовать
- Нужно следить чтобы устройство не заряжалось слишком долго — производители предупреждают, что это вредно для аккумулятора
Не смотря на недостатки, я все же надеюсь что из этого выйдет что-то хорошее, ведь не все компоненты еще успели разработать, да и само устройство только начинает продаваться. Интересно, что придумают сторонние разработчики.
Хотелось бы, чтобы люди имеющие это устройство поделились ссылками на стороннее ПО и ресурсами имеющими отношение к этому устройству. Спасибо.
Комментарии (24)
AnViar
04.08.2015 15:28Стоит быть осторожным с такими устройствами. В определённые моменты времени в мозгу может возникнуть непреодолимое желание устроить EXTERMINATUS тому или иному ПО в системе, что может быть слишком оперативно принято к исполнению.
Mistx
04.08.2015 16:26-15Больше интересует воздействие на мозг со стороны данного устройства
LuckyStarr
04.08.2015 16:46+4Как может воздействовать на мозг прибор фиксирующий электрическую активность мозга? Электроэнцефалография.
rPman
04.08.2015 19:47-4Вред теоретически реален и заметно опасен! Одна фраза — обратная положительная связь.
Простейший алгоритм:
1. Генерируем картинку (хоть тот же алгоритм визуализации обучения нейронной сети) или по проще — звуки
2. Подправляем параметры генерации в соответствии с каким либо алгоритмом минимизации
3. Минимизируем/максимизируем на основе какого-либо параметра нашей мозговой активности
p.s. как результат, в лучшем случае, головная боль гарантированна!
Mistx
05.08.2015 10:19-91. Прибор может воздействовать на психику и привычки просто в силу своего существования. Например, современные дети часто тыкают пальцами во все картинки/окна/приборы и т.д., ожидая реакции как на смартфоне.
2. Прибор может оказывать влияние на электрохимическую активность мозга, особенно при длительной эксплуатации
3. Прибор может содержать закладку от производителя, позволяющую контролировать мыслительные процессы пользователя (такие закладки есть в каждой популярной программе и даже устройствах, почему же это станет исключением?)
Sadler
05.08.2015 10:36+5Бабушек по соседству тоже облучают злые роутеры, стоящие на чердаке. И сотовые вышки контролируют сознание некоторых личностей, любящих укутываться в фольгу. Это серьёзная проблема, но не проблема технологии. Вам к другим специалистам.
Mistx
05.08.2015 10:48-6Видимо хамство, неприятие альтернативных точек зрения и отсутствие сомнений в любых вбросах — это такой «модный тренд». И, не факт, кстати, что он не вызван внешними воздействиями на Ваш мозг
mukizu
05.08.2015 14:04+4> неприятие альтернативных точек зрения
Неприятие альтернативных точек зрения не подкрепленных ничем. Дайте ссылки по вашим пунктам на какие-то публикации, исследования итп — будет совершенно другой разговор.
А так — это из области «а я считаю, что рожать в воде лучше, потому что вот!»
>Прибор может содержать закладку от производителя, позволяющую контролировать мыслительные процессы пользователя
От физически не умеет write, только read.
neolink
04.08.2015 17:44+2а номер отслеживания давали? тоже спонсировал на кикстартере, уже месяц назад заполнил данные по доставке и опять тишина.
HeisenbergP
04.08.2015 21:42Я оформил адрес в США через сервис пересылок shipito и туда они очень быстро доставили, я даже не отслеживал. А потом из shipito в Санкт-Петербург отправлял через boxberry — там уже соответственно по ID отслеживал.
Killy
04.08.2015 18:44+2Мне ещё не отправили. В комплекте с экстендером должны начать рассылать в августе.
Слежу за коммьюнити в G+.
Меня удивляет следующая вещь:
На момент старта кампании на Кикстартере у Emotiv Inc уже был вполне рабочий продукт — Emotiv EPOC. У меня даже был шанс его испытать на себе — покрутить кубик, сыграть в игру…
И когда эти же люди запускают кампанию для создания второго продукта, у них буквально всё идёт наперекосяк. Разработка железа растянулась в два раза. Ежемесячные апдейты на Кикстартере — буквально история факапов.
Теперь, когда они разослали часть устройств, выясняется, что ПО не просто не готово. Они зачем-то забили на все наработки от EPOC и стали делать новую контрольную панель в виде плагина для браузера.
1) Никто не трудится объяснить, зачем это было нужно;
2) Плагин npapi, поэтому возникли проблемы с Хромом. Под Windows, вроде, только Firefox сейчас нормально поддерживается.
По для iOS не работает, т.к. они никак не могут подстроиться под изменения в работе Bluetooth последней версии iOS.
С ПО для Android тоже куча проблем была, но это вроде бы первое, чем они плотно занялись, и теперь получше стало.
Sadler
04.08.2015 18:53+2Надеюсь, он понадёжнее EPOC-а. Это чудо у меня развалилось через пару месяцев эксплуатации: сначала пришлось дужку укреплять пластиной из-под наушников, затем начали рассыпаться крепления сенсоров.
Кстати, они в Insight обещали сухие датчики. Не соврали?HeisenbergP
04.08.2015 21:47+1Датчики сухие, ничем не надо смазывать. А можете пару преимуществ EPOC перечислить? Например, набор из скольки мысленных команд там можно использовать единовременно? Дает в этом плане количество сенсоров преимущество? По идее должно, так как входной вектор побольше получается, или нет? Есть доступ в SDK к сырым данным с датчиков?
Killy
05.08.2015 00:13+1Доступ к сырым данным определяется лицензией (+$300 в случае EPOC/EPOC+, судя по сайту).
Про преимущество в количестве команд — говорили, что да, даёт.
Кстати, датчики хоть и «сухие», при необходимости рекомендуют использовать физраствор (?) или житкость для контактных линз (?) (поправьте, если я что-то напутал). Забаво, что в упаковке предусмотрели место для пузырька, но класть не стали за ненадобностью вцелом. (А в частности — поймём только в процессе эксплуатации...)HeisenbergP
05.08.2015 02:23Сырые данные были бы мне интересны, я видимо сэкономил и взял developer лицензию, а для них требуется research. Надеюсь можно будет проапгрейдить за более умеренную сумму чем 300 $. У меня возникали проблемы с качеством сигнала только на датчике Pz (макушка), попробую в следующий раз физраствор нанести туда. Меня это место для пузырька в коробке сначала смутило, подумал, что что-то не доложили, но нет — все на месте.
Меня еще удивляет почему не установили датчик пульса, мне казалось что место под левым ухом могло быть использовано для этого. Получился бы мощный фитнес трекер.
Кто нибудь может подтвердить или опровергнуть пригодность этого места для датчика пульса?Killy
05.08.2015 03:04На кикстартере была разница в цене $100. Апгрейд будет возможен, я думаю, когда они закончат с бэкерами и добавят Insight в магазин. Самому интересно, смогут ли они ещё и тут сорвать волну негодования.
Под левым ухом, как я понял, reference sensors (2 штуки). Т.е. для каждого датчика используется дифференциальный сигнал относительно этих опорных датчиков.
Про пульс интересно. На самой странице кикстартера они писали:
Possible extraction of respiration and heart rate using small scale periodic motion.
Предположу, что для этого нужны сырые данные :(
Тут интересно отметить, откуда взялось распознавание эмоций: оно связано не с ЭЭГ, а с работой мышц. При обработке ЭЭГ эти данные отфильтровываются как шум, но оказалось, что такую пользу из них извлечь можно. (Пишу по памяти — вроде в ранних апдейтах на кикстартере об этом говорилось.)
Выделенного датчика пульса, увы, не предусмотрено. Если предположить похожее устройство с таковым — какую бы технологию он использовал?
Sadler
05.08.2015 09:52При покупке преимущество EPOC для меня было в том, что Insight ещё не существовало. О «мысленных командах» ничего не знаю, не использую эту функциональность, работаю с сырыми данными и встроенными детекторами excitement/boredom/etc.
AdvanTiSS
04.08.2015 22:29+1Не знаю как с качеством распознавания мысленных образов, но эргономика заметно улучшилась по сравнению с EPOC. Чего только стоит отсутствие необходимости смачивать электроды.
Когда калибруете действие по мысли, попробуйте представлять себе не движение, а конкретный образ. Например движению вверх сопоставьте визуальный образ «Стрелка вверх» или «Молоток», можно еще попробовать числовые образы — например представить в уме число 5. Вполне возможно что точность распознавания конкретного образа будет выше.rPman
04.08.2015 23:23Подскажите, а что по поводу обучения на основе поведения, как это было описано тут, т.е. вы во время обучения работаете (играете) как обычно с помощью клавиатуры и мыши, а система автоматически обучается распознавать, какое движение вы хотите сделать до того как вы нажмете соответствующую кнопку.
Именно это меня тогда заинтересовало в EPOC и я как то ожидал что это будет развито в новых версиях нейроинтерфейсов. Ведь остальные модели, предлагаемые на рынке заметно хуже по функционалу и обычно предлагают реакции на основе каких то абстрактных понятиях как интенсивность мозговой деятельности и уровень концентрации.AdvanTiSS
05.08.2015 00:43Насчет emotiv не знаю, но вот статейка наталкивает на мысль, что даже проговаривание команды в уме теоретически может быть распознано.
lenta.ru/news/2014/10/30/innervoice
XanderBass
15.08.2015 23:54Занятная штука. Если технология пойдёт на развитие, вскоре можно будет кодить быстрее. Правда, тут будет важна тренировка, иначе такой г… нокод будет получаться.
OttoV
Не хватает видео.