Abbreviation
BCI Brain-computer interface
EEG Electroencephalogram
SBC Single-board computer
ADC Analog-digital converter
Меня зовут Ильдар, я радиолюбитель. Наша идея создания недорогого интерфейса Мозг-Компьютер появилась два года назад на одной из научных конференций, во время одной из футуристических бесед, еще до событий пандемии. Идея была наивной и простой — мы хотели управлять роботами силой мысли методом воображения движения. (https://en.wikipedia.org/wiki/Motor_imagery)
вот как то так
Так как я был единственным в нашей компании, кто понимает в электронике, то взялся за эту деятельность сам. Изначально я планировал взять самое доступное устройство на рынке, как мне казалось, должно быть что-то очень простое и доступное, что-то вроде Arduino. Но что было на рынке, меня не устраивало, по большей части — цена, да и вообще устройств для open-source разработчиков не так много.
Очень кратко, что такое BCI. BCI измеряет сигналы ЭЭГ с поверхности головы, это сигналы в микровольтах, разделенные на несколько частотных диапазонов (Альфа — 8–13 Гц, Бета — 14–40 Гц, Тета — 4–8 Гц, Дельта — 0,5–3 Гц). Эти частотные диапазоны могут предоставить некоторую информацию о субъекте. Звучит просто, но есть пара нюансов, кроме грамотно спроектированной платы на качество сигнала существенно влияют следующие факторы:
любые физические нагрузки (артефакты);
электромагнитная интерференция;
качество соединений электродов, да и вообще все, действительно все.
Сигналы ЭЭГ измеряются через электроды [1, 2021], мы выбрали сухие электроды, потому что они проще в использовании (в идеале гель не нужен, но на самом деле с гелем лучше). Но даже после всего этого полученные сигналы ЭЭГ все равно не будут пригодны для получения какой-либо полезной информации. Следующим шагом является обработка сигналов, которая представляет собой попытку найти полезные корреляции в сигналах ЭЭГ и удалить другие шумы. И это огромная тема! и на самом деле, если и есть магия (или где она нужна), то она здесь. Методов очень много, и они очень разнообразны, на эту тему мы написали следующие обзорные статьи ([2, 2021], [3, 2020]). И я до сих пор работаю в этом направлении.
А теперь ближе к делу, все таки эта заметка касается железа для BCI. Пишу кратко и просто, кому нужны подробности, все источники находятся в открытом доступе, и буду очень рад вашим комментариям.
Сначала сомнения, а возможно ли? без опыта в нейронауках разработать BCI. Чтобы понять это, я много читал. Для начала, что проще: — medium, форумы, по ключевым словам — все возможные вариации с BCI. Далее я изучил все, что смог найти в известных мне библиотеках — research.google, researchgate, Elsevier, Taylor and Francis, Springer и т. д. Я понимаю, что у многих нет допуска к статьям, не находящимся в открытом доступе, это болезненная тема для многих исследователей, особенно обострившаяся после весьма печальных событий в штате Массачусетс в 2013 году.
Только у нас то, что есть, ученые публикуют не в open-access доступе не потому, что хотят скрыть свои исследования от посторонних глаз или заработать денег, а потому, что просто не нашлось спонсора для публикации. Можно возразить, что есть препринты (Arxiv например), согласен, только для научной карьеры — важен рейтинг публикации. Об этом можно говорить долго, но говорить надо и делать. Если статьи нет в открытом доступе, то пишите авторам, задавайте вопросы, никогда не стесняйтесь, это нормальный процесс, в большинстве своем авторы рады, что есть интерес к их работе. Мой процесс чтения занял 1 месяц, по несколько часов в день — но оно того стоит, т.к. позволяет понять, что есть на рынке, что нужно рынку, каковы перспективы, направления исследований и т. д. Лучше потратить время, чем заново изобретать колесо. В общем, исследование рынка вселило в меня уверенность, что да, надо это делать, особенно в формате с открытым исходным кодом.
Как мы разрабатывали — интерфейс мозг-компьютер
Сердцем BCI является ADC, а самым слабым местом устройства является часть между электродом и ADC— этот аналоговый сигнал в мкВ — который только рад собрать все возможные шумы, которые только он может найти. После оцифровки сигнала уже идут стандартные операции — это полосовой фильтр (я использовал 1–30 Гц), вам поможет любой язык — я реализовал на Python. Подходящих ADC на рынке не так много, особенно для нейрофизиологических задач — Texas Instruments и Analog devices. Мы выбрали ADS 1299 от Texas Instruments.
Попытка 1 (1 марта 2020 г.)
С первой попытки я собрал схему на макетной плате, все элементы подобраны с минимальным шумом (power supply). Как и ожидалось, все это выглядело ужасно. Ну, тем не менее, я смог связаться с АЦП, изучил регистры, но количество шумов не давало мне понять, ЭЭГ это сигнал или нет.
Попытка 2 (8 октября 2020 г.)
Уже лучше, я сделал печатную плату, и успешно, плата заработала. Удалось прочитать сигнал ЭЭГ, обнаружить основные артефакты. Но размер платы был слишком велик, в этой версии использовались Wi-Fi, Bluetooth, радио, последовательный порт и SD-карта для передачи данных. Для меня главное, чтобы устройство работало, а конструкция была правильной [4, 2020].
Попытка 3 (1 января 2021 г.)
Тот же дизайн с уменьшенной формой. Устройство заработало — но так как у нас был сендвич, то я не мог надежно соединить платы друг с другом, казалось бы, простая деталь, но я потратил много времени на поиск нужных пинов, так как SPI-соединение между МК и ADC постоянно терялся.
Попытка 4 (7 апреля 2021 г.)
С учетом всех ошибок прошлого года было создано итоговое устройство — ironbci.
Использовался следующий микроконтроллер — STM32F406VE. Вычислительными возможностями в данном проекте МК особо не занимается и выбирался в зависимости от периферии (SPI). [5, 2021].
Детали проекта ironbci
GitHub (электрическая схема, Gerber-файлы, BOM-файлы, hex файл и т. д.)
Youtube. Демонстрация артефактов (жевание и моргание) на STM32F407 и ADS1299
Youtube. Iron BCI hardware — процесс разборки
Одной из основных идей было использование платы с дополнительными датчиками, среди стартапов так называемая «киллер фича» — но для меня задача убрать все артефакты из сигналов ЭЭГ. Задача состоит в регистрации сигналов ЭЭГ в повседневной жизни и использовании набора датчиков для контроля и нейтрализации артефактов в сигналах ЭЭГ. [6, 2021]. Идея еще не реализована, нужно больше данных.
Но идея очень хорошая, и надеюсь продолжить работу над ней.
Все казалось идеальным. Но случился chip-shortage. В результате себестоимость нашего прибора взлетела со 100 до 600 долларов (и это только за 8 электродов) - просто безумная цена.
Но хорошая новость в том, что я сделал этот проект не просто открытым, а максимально открытым и предоставил видео-инструкцию по самостоятельному заказу этого устройства на PCBWAY (мне казалось, что будет достаточно исходников, но я получил слишком много вопросов про «как сделать своими руками» и понял, что полное объяснение лучше). Каждый может заказать себе это устройство, для этого не нужно иметь опыт работы в электронике и т.д.
Сделай сам, полная инструкция как создать это устройство на фабрике pcbway
https://youtu.be/VQqJwoX9bg0Но мне не очень хотелось бросать это занятие после стольких исследований. И поэтому решил, что проще всего взять только плату АЦП от устройства ironbci и использовать ее как шилд для одноплатного компьютера.
Попытка 5 (16 октября 2021 г.)
Теперь мы подошли к PIEEG, который преобразовывает Raspberry Pi в BCI [7, 2022]. Raspberry был выбран только потому, что это самый популярный одноплатный компьютер на рынке. Обмен данными между Raspberry и платой реализован на C (важна скорость передачи)
https://github.com/Ildaron/EEGwithRaspberryPIи обработка данных в режиме реального времени в Python, поскольку Python является одним из самых популярных языков в науке о данных.
Основное применение, которое мы видим в этом, это управление робототехническими устройствами, возможности приложения зависят от фантазии и возможностей пользователя. (8, 2022)
Скрипт управление роботом через моргание был представлен на GitHub, где сигнал разложен через быстрое преобразование Фурье и затем в каждом частотном диапазоне мы обнаруживаем амплитуду сигнализирующего моргания.
Конечно, сегодня надежно управлять роботом можно только с инвазивными интерфейсами, и это устройство не для реального применения. Наша цель — дать возможность изучить механизмы управления роботами с помощью сигналов ЭЭГ.
Машинное обучение — это революция в области обработки данных, которая произошла всего несколько лет назад, поэтому наличие набора данных может позволить сделать много нового в этой области.
Если можно управлять роботом с помощью метода воображения движения, то единственное, что нас сдерживает, — это отсутствие набора данных. Возможность использования неинвазивных методов управления механическими конечностями станет революционным событием в области неврологии.
В общем, я очень кратко описал процесс разработки, по вашим комментариям, по мере необходимости, напишу подробнее. Ваши идеи приветствуются, пишите).
Данный проект никем не финансировался, делался в свободное от работы время и все исходники находятся в открытом доступе, так что судите строго (не опечатка).
Сегодня мы находимся в процессе подачи заявки на crowdsupply для PIEEG.
https://www.crowdsupply.com/hackerbci/pieegМы делаем это, чтобы создать сообщество, собрать набор данных, я надеюсь, вместе мы сможем добиться значительного прогресса в этом направлении. Обо всем писать сложно — на каждом этапе я ошибался, весь процесс разработки - это каждодневный поиск багов, как программных, так и аппаратных, каждый день решал задачи, но это правда, это нормально. Ну и немного идеологии - для меня, опенсорс это не только альтруизм (хотя и этого аргумента уже достаточно, технологии, тем более биотехнологии, должны быть направлены не на обогащение. Можно возразить, пожалуйста, но у меня есть много примеров разных гениальных людей, для которых это воспринималось, как должное), а главное способ создать что-то действительно хорошее, обратная связь творит чудеса, критика очень полезна. Я честно пришел в мир ЭЭГ, чтобы управлять механическими конечностями неинвазивным методом, доступным и простым способом. Пока не получилось, но это шаг на пути к этому.
Slack — pieeg.slack.com
email — ildar.o2010@yandex.ru
Github — https://github.com/Ildaron/EEGwithRaspberryPI
Linkedin https://www.linkedin.com/in/ildar-rakhmatulin-262a66112/
Reference
1. Rakhmatulin, I.; Gan, Y. (2021). Review Dry and Non-Contact EEG Electrodes for 2010–2021 Years. Preprints, 2021030555 (doi: 10.20944/preprints202103.0555.v1). https://www.preprints.org/manuscript/202103.0555/v1
2. Rakhmatulin, I. (2021). Progress in neural networks for EEG signal recognition in 2021. arXiv:2103.15755, https://arxiv.org/abs/2103.15755
3. Rakhmatulin, I. (2020). Review of EEG feature selection by neural networks, DOI: 10.5281/zenodo.3987894
4. Rakhmatulin, I. (2020). The electronic board to replace the reference voltage on the earlobe for EEG measurement, Measurement, 173, 108673 https://www.sciencedirect.com/science/article/abs/pii/S0263224120311854?via%3Dihub
5. Rakhmatulin, I., Parfenov, A., Traylor, Z. et al. (2021). Low-cost brain computer interface for everyday use. Exp Brain Res 239, 3573–3583 https://doi.org/10.1007/s00221-021-06231-4
6. Rakhmatulin, I. (2022). ironbci. Open source. Brain-computer interface with the embedded board to monitor the physiological subject’s condition and environmental parameters. arXiv:2111.03656
7. Rakhmatulin, I., Volkl, S. (2022). PIEEG: Turn a Raspberry Pi into a Brain-Computer-Interface to measure biosignals, arXiv:2201.02228
8. Rakhmatulin, I., Volkl, S. (2022). Brain-Computer-Interface controlled robot via RaspberryPi and PiEEG, arXiv:2202.01936.
Комментарии (25)
K_Chicago
28.02.2022 20:35+5А как насчет использования уже готовых устройств, типа MIndWave и им подобных?
Там профессионально решены вопросы получения, усиления и фильтрации сигнала, такое ощущение что вы велосипед избретаете.
Но вообще по-моему любая попытка использовать 'BCI' для какого бы то ни было реального "управления" это полнейший тупик. Это еще хуже чем пресловутое "голосовое управление".
Какой-нибудь biofeedback - возможно, хотя и сомнительно. Управление хоть чем-то кроме шарика для пинг-понга в настольной игре - увольте.
Нужно вам попытаться понять, что значит "управление" применительно к командам, отдаваемым человеком, а именно психологию и эргономику.
Простой пример: например, прежде чем нажать одну из полусотни кнопок, человек в голове процессит множество возможных решений, в сложной ситуации колеблется между разными вариантами, в конце концов решение принимается и тогда с минимальным усилием палец опускается на кнопку. Как вы в этой ситуации представляете себе то же действие посредством BCI? Не говоря уж об идиотизме "голосового интерфейса", который сделали не потому что нужно, а потому что "мы можем". Здесь важная психологическая ошибка - человек использует голос для общения с себе подобными, и с теми, к кому испытывает симпатию - вы разве не слышали детское (или женское) выражение "я с тобой не разговариваю"? Т.е. делаю все то же самое, могу даже записки писать, но выключаю голосовой интерфейс. Голос используется человеком лишь на очень небольшую часть для передачи информации, а главную часть - для передачи эмоций. Человек, который разговаривает с чайником, с дверью, с забором - нуждается во врачебной помощи, заставлять человека разговаривать с куском железок - это "контрпродуктивно". Единственное известное мне исключение - это автомобильный навигатор. Продуктивное применение голосового интерфейса - это "в обратную сторону", т.е. получение информации от машины (а машина всегда подсознательно занимает подчиненное положение, слуги, серва) - и оправдано и психологически приемлемо.
В отдалённом будущем может быть возможна установка некоторого перманентного стандартного импланта - непрерывный мониторинг давления, состава крови, температуры. Это выглядит б/м реалистичной реализацией интерфейса "человек-машина".
Я лично считаю есть еще одно перспективное направление - это реализация озвучивания "внутреннего голоса". Технически должно быть осуществимо уже сейчас - снятие подпороговых потенциалов с мышц участвующих в артикуляции, распознавание и озвучивание. Думаю, такие разработки должны вестись уже сейчас, скорее всего информация о них табуирована.
tormozedison
28.02.2022 22:30А когда человек что-то думает «про себя», даже не шепчет, полагаете, на эти мышцы вообще что-то поступает?
K_Chicago
03.03.2022 06:08разумеется, а как же иначе. Я это понял относительно недавно. Это просто понять, даже экспериментируя на себе. Попытайтесь например "говорить про себя" с разной "громкостью". Вы заметите что начинают подключаться дыхательные мышцы. Например,попробуйте "крикнуть" "про себя" изо всех сил, например, "нееет!!!!". Вы увидите что при этом вы очевидно стараетесь сделать выдох.Почему? Потому что артикуляционные мышцы "почти кричат", и рефлекторно привлекается и "почти выдыхание".
Тут кто-то сказал что не встречал реальных кейсов. Я полагаю, во-первых, это очевидно засекреченые разработки - подумайте например о возможности допроса под таким детектированием субпороговой речи? И я не могу вспомнить конкретно, но недавно я где-то таки читал мельком о подобных исследованиях, кажется вместе со словом DARPA, если вы в теме что это такое.
ilda-ron Автор
01.03.2022 02:56Во первых очень дорого!
во вторых MIndWave там вроде менее 16, а если надо больше ?
в третих а АЦП ADS1299 куча регисторов, которые управляются через прошивку, там чего только нет, и хорошо бы иметь доступ к ним
в 4-х - плату каждый сам под себя может подправить, как надо
что касается перспектив, на самом деле они есть, у меня скоро выйдет статья - там обзор достижений в области управления внешними объектами через неинвазийвные электроды.
Ну кто-то использует для целей попроще - контроль процесса медитации
Nahrenako
01.03.2022 10:20Перспектив на самом деле нет. Сделать приемлемое железо это даже не половина проблемы, а процентов десять. Настоящая проблема в том что brain waves снятые со скальпа ни разу не могут использоваться для однозначной интерпретации процессов мышления вследствие большой вариативности и индивидуальных особенностей. За исключением может быть самых простых случаев которые могут быть более или менее однозначно интерпретированы.
ilda-ron Автор
01.03.2022 10:22если вы говорите о том чтобы реально управлять роботом через ЭЭГ, через motor imagery метод, как это делается инвазивными методами (тот же Илон Маск), то да с вами согласен, пока этого не было сделано, но это не значит, что этого не возможно
K_Chicago
03.03.2022 06:02перспективы на самом деле очевидны, если попытаться подумать.
Разумеется, использовать для управления чем бы то ни было " интерпретацию процессов мышления" - это чушь.
А следует всего лишь использовать для управления способность мозга к научению.
Т.е. нужно не читать обычные паттерны мышления. Нужно научить мозг содавать паттерны, которые легко распознаются системой с минимумом электродов.
Возможности мозга к обучению близки к безграничным. Я например был потрясён, прочитав о том как мозг обучили интерпретировать как зрительные образы сигналы, поступающие с решетки электродов, расположеных...на языке. К решетки подключали матрицу оптических датчиков, и мозг слепых людей смог "переобучиться" и "видеть" эти импульсы.
Nahrenako
03.03.2022 06:53Ну если попытаться подумать то конечно. Такие системы под названием biofeedback давно придуманы и используются, небезуспешно, но в довольно узкой нише. В самом простом варианте - референсный электрод на лбу и пара на затылке. Расслабился, закрыл глаза и получил альфа вспышки в затылке. Некоторые после небольшой тренировки могут выдать микровольт 100.
rPman
28.02.2022 21:50+1Следующим шагом является обработка сигналов, которая представляет собой попытку найти полезные корреляции в сигналах ЭЭГ и удалить другие шумы. И это огромная тема! и на самом деле, если и есть магия (или где она нужна), то она здесь. Методов очень много, и они очень разнообразны, на эту тему мы написали следующие обзорные статьи ([2, 2021], [3, 2020]). И я до сих пор работаю в этом направлении.
Можете тут пару слов выжимки из этих статей сказать?
Существующий доступный софт позволяет (на практике а не в идеальных лабораторных условиях) обучить компьютер к примеру управлять компьютерной игрой в пределах нескольких (скольки?) степеней свободы?
Emotiv epox — Сам я эти устройства не щупал, показались слишком дорогими тогда и тем более недоступны теперь (слишком дорого для игрушки и для бизнеса сомнительный актив). Вот статья 10-тилетней давности. Так можно? лучше? хуже? например обучить программу игре в тетрис (4 кнопки) автору получилось легко.ilda-ron Автор
01.03.2022 03:13доступных и действительно хороших софтов я не встречал, надо самому все доделывать.
Самый простой контроля через парадигму P300, в ЭЭГ сигнале есть отклик на световые мерцания, то есть можно разделить экран на зоны, которые будут поочередно мерцать и детектить куда смотрит субъект, в какую именно область, и каждая область уже может активировать комманды которые вы захотите.
Что касается Emotiv epox, это все таки коммерческий проект, ironbci это просто open-source, который каждый может сам заказать
rPman
01.03.2022 09:30Нет, этот подход максимально неправильный в технологиях мозгоинтерфейса
направление взгляда можно получить более дешевым способом
Неправильно создавать системы в которых человек должен выворачивать свои мозги чтобы максимально далекими от цели действиям ее достигать, грубо говоря пытаться вводить текст с помощью экранной клавиатуры, управляя курсором (2-4 степени) используя сосредоточение и эмоции — это извращение, праивильное направление обучить понимать алгоритм что человек хочет нажать именно конкретную букву (в идеале сразу словами но это слишком много степеней свободы)!
Речь идет именно о попытках детектировать алгоритмом само желание/попытку человеком сделать действие
Как это делает пользователь emotiv epox по моей ссылке — он играет в тетрис а алгоритм в это время обучается и в какой то момент даже нажимать кнопки не надо (а уж одну степень свободы — выстрел и подавно легко обучить)
мне было бы очень интересно, чему можно было бы обучить такой алгоритм, если система будет обучаться не на играх а на других действиях по использованию компьютера… данные для обучения собирать достаточно легко.ilda-ron Автор
01.03.2022 10:31пробежался по статье, там даннных мало, но такое ощущение что детектят мышечные сигналы.
сделать такое просто.
Опять таки моя заметка об аппаратной части
но вот маленький пример, написал код, как управлять через моргание и поуправлял игрушечной мышкой
вот заметка на архиве https://arxiv.org/abs/2202.01936
а вот код https://github.com/Ildaron/EEGwithRaspberryPI/tree/master/Robot_control
насчет P300 - имеется сотни научных статей (на англ), где это применяют на практике,
так же и через моргание управляют инвалидными креслами
я просто пишу, что это имеет место, никому ничего не доказываюrPman
03.03.2022 07:55у emptiv epox в какой то момент двигать пальцами не требуется
т.е. алгоритм детектит намерение сделать нажатие без необходимости его делать (так же я точно помню читал что скорость выстрела при использовании шлема быстрее чем при управлении рукой, собственно люди тогда и хотели его купить чтобы нагибать в играх, имея преимущество перед ручным управлением)
Как я уже сказал, косвенные методы типа через моргание, — это неправильное направление, и если я правильно понимаю про p300 почему ты поставил управление через моргание рядом? это ведь как раз то что надо.
DASpit
01.03.2022 12:20Вы точно сигнал ЭЭГ этой штукой снимаете? Моргание - это ЭМГ.
Чем ваш проект лучше OpenEEG?
ilda-ron Автор
01.03.2022 14:44Я же привел ссылки, у меня научные статьи в ведущих изданиях опубликованы, конечно ЭЭГ, моргание для примера
ironbci
- по качетсву выше, так как использовал одни из самых лучших voltage regulators
- спроектрован лучше, у меня плата сендвич и земли аналоговые и цифровые поделены идеально
и народ, ну камон, это же не коммерция, я даже видео сделал, как каждый может сам заказать это девайс на PCBWAY
а если говорить про PIEEG - то это очень просто использовать, самый простой способ для новичков
ilda-ron Автор
01.03.2022 15:19+1Коллеги прощу прощения за грамматику, я много лет не живу в РФ, печатаюсь только на английском, Эту статьи написал с клавы, где русские буквы не подписаны - по памяти, вообще мне профита от статьи нет, но хабр всегда нравился, потому написал, но править не буду больше грамматику, нет времени
HiTechSpoon
01.03.2022 15:20Расскажите пожалуйста, какие датчики вы используете? Как они крепятся к голове?
ilda-ron Автор
01.03.2022 15:48+1шапку сделал сам (так как на них неадекватные цены) и туда уже установил электроды
сухие электроды от https://fri-fl-shop.com/collections/electrodes-eeg-electrodes сплав - Ag/AgCl
но так же заказывал и на али - Ag/AgCl, разницы не заметил
PMA
Я не разобрался или таки нет полной гальванической развязки схемы от сети?
VT100
За этим же зашёл. Теоретически, в варианте STM32, предусмотрен не указанный на схеме аккумулятор (Board STM32 + Board battery). Можно сохранять "трек" на карте и анализировать потом.
В варианте "ADS1299.pdf" + малинка/апельсинка, очевидно, все вопросы изоляции отданы на откуп внешнему оборудованию.
P.S. На схеме "Board battery.pdf" — ошибочная полярность D1.1.
P.P.S. Не удивительно, если использовать горсть заказных резисторов на 5 кОм и кучку стабилизаторов. ;-)
ilda-ron Автор
ADS1299.pdf" + малинка/апельсинка - там так же питание только от батареи, об этом написано в гитхабе, даже монитор через батарею, поэтомоу использовать Разберри дисплеи.
ilda-ron Автор
"P.S. На схеме "Board battery.pdf" — ошибочная полярность D1.1. "
спасибо исправлю
ilda-ron Автор
ironbci - тоже питание только от батареи, usb вход он для зарядки батареи только
ilda-ron Автор
питание только от батареи - 5 В