Меня зовут Владимир Михеев, я работаю в лаборатории Вычислительных когнитивных наук Университета Штутгарта, Германия. Мы разрабатываем библиотеки для анализа, симуляции и визуализации ЭЭГ данных на языке Julia под зонтичным брендом Unfold. Наша цель - вытащить науку о мозговых сигналах из кризиса, в котором она находится.

В социальных и психологических науках уже лет десять бушует кризис невоспроизводимости: результаты многих исследований не повторяются. Нейронауку он тоже коснулся. Есть разные инициативы, которые пытаются улучшить положение дел: одни сфокусированы на методологии записи сигнала, другие на анализе данных, третьи - на протоколировании исследований.

Мы сосредоточились на визуализации данных. Вопрос не только в эстетической привлекательности графиков, но и в корректности представленных данных. Наше исследование показало, что ученые часто совершают грубые ошибки при визуализации данных, и частично в этом виноваты разработчики аналитического программного обеспечения.

Эта статья может быть вам полезна если вы:

• Работаете с ЭЭГ данными и хоть раз рисовали потенциал вызванного действия.

• Визуализируете временные данные.

• Радеете за воспроизводимость научных исследований.

• Разрабатываете аналитическое ПО.

• Делаете красивые графики и хотите, чтобы они были корректными.

Наше исследование вышло в апреле 2024 в журнале Aperture Neuro. Здесь представлена упрощенная версия статьи на русском языке.

Также мы разрабатываем свою библиотеку визуализации данных UnfoldMakie.jl и результаты исследования помогают нам делать ее более удобной для пользователей.

Часть 1. Все что нужно знать об ЭЭГ для чтения этой статьи

• ЭЭГ (электроэнцефалография) - метод записи электрических сигналов с кожи головы. Считается, что таким образом можно регистрировать активность мозга. Метод плох в локализации сигналов, но очень точен для фиксации времени сигналов. Подробнее можно почитать тут.

• Чем больше ты с этой технологией знакомишься, тем менее она кажется чудесной. Но пару вещей она фиксирует хорошо: 1) нарушения сна; 2) эпилепсию; 3) изменение внимания (Р300); 4) восприятие семантических ошибок (N400). Отдельная заслуга ЭЭГ - интерфейсы мозг-компьютер. Мысли расшифровать так и не получилось (как мечтал Ханс Бергер, создатель метода), но есть интересные исследования, обещающие восстанавливать изображения, которые видит испытуемый.

• Потенциал связанный с событием (далее - ПСС, вызванные потенциалы, event-related potentials). Если во время эксперимента повлиять на испытуемого каким-то стимулом (показ картинки, звука, прикосновение и проч.), то это изменит электрический потенциал его мозга. Запишем сигналы с нескольких электродов, усредним их и получим линию со временем по оси x и напряжением тока по оси y.

• Некоторые потенциалы, настолько популярны, что им даже присваивают имена. Например, если сигнал идёт вверх, мы называем его P (от слова positive), а если вниз — N (от слова negative). Добавив к этому время пика активности в миллисекундах, мы получаем такие потенциалы, как P300, N200 и другие.

Часть 2. Визуализация Потенциалов вызванного действия

Данные ЭЭГ многоразмерны. Размерностей может быть пять (но и больше): напряжение тока, время экспериментальной пробы, номер электрода, местоположение электрода, номер пробы и неограниченное количество экспериментальных условий.

Если вы на этапе разведывательного анализа, то такое число измерений избыточно. Почти невозможно осмысленно визуализировать больше трех измерений. Чем больше измерений на рисунке, тем менее понятно, что на нем происходит. Поэтому приходится понижать размерность: выбирать, какое измерение показывать на графике, а какое скрыть, удалив измерение или усреднив его.

Существуют разные типы ПСС-графиков, каждый под определённые задачи. Но появились они спонтанно: каждый производитель софта делал их как умел и видел, а потому названия и методы их построения получились разнобойными.

Часть 3. Исследование

Мы опросили 213 ЭЭГ-исследователей о том, как они визуализируют ПСС. Вот что мы узнали.

1. Инструменты визуализации. Согласно исследованию EEGManyPipelines чуть ли не каждая лаба для проверки одной и той же гипотезы на одних и тех же данных будет использовать разную методологию обработки данных. И эта методология сильно зависит от программного обеспечения, который использует научная группа.
   Мы спросили, с каким ПО знакомы респонденты, а также измерили ежегодное число упоминаний ПО в научных статьях. Оказалось, что лидируют 4 библиотеки написанные на языке MATLAB (ERPLAB, FIeldtrip, EEGLAB, Brainstorm). Повлиял эффект основателя — кто первый начал, у того и тапки. Но тренд у MNE-Python положительный, он уже начал обгонять по публикациям ближайших конкурентов.

   

2. Свойства ПО. Мы спросили, какое свойство наиболее важно для программы по визуализации ЭЭГ. Наиболее важным оказалась гибкость, воспроизводимость и возможность программировать. Графический интерфейс оказался совсем не важным. К нашему удивлению скорость и интерактивность тоже получили низкие баллы.

   

3. Узнавание графика. Мы показали испытуемым 8 типов визуализации ПСС и попросили выбрать те, которые они узнают, могут назвать и когда-либо отрисовывали. Только 42% респондентов смогли узнать и назвать 7-8 графиков, а значит больше половины ученых не знают о всех возможностях для представления ПСС.

4. Терминология. Мы попросили в свободной форме дать имена типам графиков. Мы не обнаружили общей терминологии даже после очень грубого агрегирования ответов. Единственный график, который смогли одинаково назвать 80% участников, был topoplot (топографическая карта мозга).
   Мы считаем, что общая терминология важна, потому что: 1) разнообразие в названиях вносит путаницу; 2) проще воспроизвести исследование, если ты понимаешь, что за график показан, как он называется и какие у него свойства. К сожалению вряд ли все ПО перейдут на единую терминологию. Но мы ее все-таки разработали. Метод был прост: мы брали самый популярный вариант названия графика, а если он был с гнильцой — предлагали свой вариант.
   Важно: опрос проводился на английском языке. Было бы крайне интересно увидеть результаты опроса на русском или других языках. Дарю исследовательскую идею!

   

5. Затруднения при визуализации. Мы спросили, что вызвало у вас наибольшие затруднения при построении графика. Для каждого типа графиков мы выявили свои сложности. Например, при построении графиков ПСС труднее всего было определить интервалы неопределённости. Подробнее в нашей публикации.

6. Визуализационная грамотность. Мы задали несколько вопросов связанных с корректной визуализацией ЭЭГ данных.
   
   a. Указывали ли вы в вашей статье ПСС с интервалами неопределённости? Выяснилось, что 40% респондентов их не указывало. Это очень плохо, потому что погрешности важны для интерпретации результатов. Пожалуйста НЕ делайте так, указывайте погрешность!
   
   b. Что параметр неопределенности означал: стандартную ошибку среднего или доверительный интервал? За первый вариант проголосовало 70% респондентов. Это значит, что у разных людей разные интуиции по поводу статистических метрик, а потому очень важно указывать в графике или в описании к графику, что конкретно на нем изображено.
   
   Разработчики, обращайте внимание на параметры по умолчанию в функциях визуализации! Большинство пользователей не обратят на них внимание, поэтому нужно поощрять пользователей указывать на графике, какие параметры они используют.
   
   c. Знаете ли вы о проблеме восприятия цветовых схем (colormap)? Речь идет о цветовой панели (colorbar) на графике. Некоторые схемы научны, а некоторые - нет.
   Есть три критерия научности цветовой схемы: доступность для дальтоников, линейное изменение изменение цвета (1, 2, 3, а не 1, 3, 4, 8), цвета идут по порядку оттенка (1, 2, 3, а не 2, 1, 3). Вроде бы логично, но цветовая схема (jet), она же радужная схема, стоит по умолчанию в самом популярной библиотеке для ЭЭГ анализа EEGLAB. Уже в 2015 году ученые объяснили, почему эта цветовая схема некорректна: она нарушает все три критерия научности. Согласно нашему исследованию, только 40% участников были осведомлены об этой проблеме.
   
   _{Недавно я посетил конференцию MoBI 2024, где заметил, что половина докладчиков использовали цветовую схему jet. В личных беседах я обнаружил, что многие люди не могли точно определить, какая из двух предложенных цветовых схем является научной, хотя и слышали о такой проблеме.}

7. Практики визуализации. Также мы задали вопросы о некоторых неочевидных моментах визуализации графиков.
   
   1. Сколько электродов вы записываете и сколько анализируете? Выяснилось, что только 38% респондентов анализируют все электроды. Чем опытнее пользователь, тем вероятнее он будет это делать. У нас мало вопросов к тем, кто анализирует небольшую группу электродов, но тем, кто в середине графика, — а вы там не выкидываете часом неудобные для вашей гипотезы электроды?
   
   2. Сколько миллисекунд из достимульного периода вы показываете на графике? Наиболее частый ответ был 250 мс (45%). На это следует вопрос: кто-то может методологически обосновать этот выбор?
   
   3. Полярность. При первом знакомстве с ПСС меня поразило, что почему-то ось напряжения на графике перевернута: минус вверх, а плюс внизу. Даже страничка в Википедии показывает такой график.
   
   Впервые так начали делать исследователи эпилепсии. Они наблюдали яркие негативные пики в данных и для эстетики решили перевернуть ось координат верх дном. Отличная идея (нет).
   
   80% респондентов ответило, что они за положительную полярность (плюс вверху). Исключение - лингвисты, среди которых большинство любителей негативной полярности.
   
   4. Что показывает каждый топографик в ряду топографиков? 61% ответили, что каждый топографик показывает среднее временного промежутка, 39% — что момент во времени. Повторимся: интуиции разные, без обозначений не разобраться.

Часть 4. Рекомендации

Мы разработали рекомендации для пользователей и разработчиков ПО для анализа ЭЭГ данных.

Для пользователей:

• Обозначайте все оси, указывайте все единицы измерения. Желательно прямо на графике, но можно и в описании.

• Обязательно указывайте погрешности (uncertainty) на графике и их интерпретацию (CI, SD и тд.).

• Используйте научные цветовые схемы (colorscheme, colormap): с линейным и упорядоченным изменением цвета, адаптированные для дальтоников.

• Цветовые схемы бывают расходящимися/контрастными (divergent) или последовательными (sequential). Контрастные используются, если есть важное центральное значение (например, температура), а последовательные — для непрерывных переменных.

• Для категориальных данных используйте категориальные цветовые схемы с контрастными цветами.

• Используйте положительную полярность.

• Для каждой топографика в ряду топографиков (topoplot time series) указывайте, что он обозначает: момент во времени или усредненный интервал. Например, [0.12–0.14) показывает диапазон от 0.12 (включая 0.12) до 0.14 (исключая 0.14).

• В ряду топографиков используйте цветовые схемы с одинаковым размахом для каждого топографика.

• Визуализируйте тот достимульный период, который использовался для стандартизации (baseline correction).

Для разработчиков:

• Используйте интуитивно понятные названия функций.

• Применяйте научные цветовые схемы по умолчанию.

• Сделайте так, чтобы пользователям было проще указывать неопределённость (погрешность) на графике.

• Побуждайте пользователей обозначать все, что может иметь разную интерпретацию.

• Позволяйте пользователям гибко настраивать график.

• Если пользователи могут редактировать график с помощью графического интерфейса, убедитесь, что график можно сделать воспроизводимым

P.S. Если эту статью прочел какой-нибудь социолог науки или неравенства, то вот ему идея исследования: такой же опрос, но упрощенный и по всем странам мира, где есть хоть какая-то наука. Очень интересно узнать, как будут отличаться ответы. Нынешний опрос прошелся в основном по «странам Запада». Свяжитесь со мной, если есть такое желание!