Перевод статьи "Natural and Artificial Intelligence: A brief introduction to the interplay between AI and neuroscience research", опубликованной в сентябре 2021 года.

Оригинал статьи

Исходно перевод делался на скорую руку, для собственных прикладных задач и не для открытой публикации, поэтому материал вышел в черновом виде со множеством возможностей для коррекции и адаптации. Прикладные задачи здесь - нейропсихология, психиатрия, психология и решения в области ИИ.

В таком виде его и публикую. Надеюсь, что окажется полезен как для профессионалов, так и для всех интересующихся темой.

Краткий обзор результатов взаимодействия между нейронауками  и индустрией искусственного интеллекта.

Abstract

Нейронауки и область исследования искусственного интеллекта (ИИ, AI) имеют давнюю совместную историю. Достижения в области нейронаук, наряду с впечатляющим ростом производительности вычислительных систем за последние несколько десятилетий привели к появлению нового поколения нейронных сетей, которое было вдохновленно открытиями в области исcледований мозга и реализовано благодаря возможностям компьютерного моделирования (In silico). Новые системы искусственного интеллекта обладают сегодня многими передовыми перцептивными и когнитивными способностями биологических систем, включая возможности по распознаванию объектов и функциями принятий решений. Более того, в настоящее время ИИ все чаще используется в качестве инструмента для исследований в области нейронаук, что способствует развитию нашего понимания принципов функционирования самого мозга. В частности, метод глубокого обучения использовался для моделирования того, как сверточные слои и рекуррентные связи в коре головного мозга управляют важными функциями, включая визуальную обработку, память и контроль моторики. Интересно, что применение искусственного интеллекта, использующего наработки из нейронаук, также открывает большие перспективы для понимания взаимосвязи между изменениями в нейронной структуре мозга и психопаталогиями. Эти открытия имеют большое значение для медицины. В этой статье представлены последние достижения из четырёх областей исследований, где взаимодействие нейронаук и индустрии ИИ принесло наиболее впечатляющие результаты:

(1) ИИ-модели рабочей памяти,

(2) визуальная обработка на базе ИИ

(3) ИИ-анализ больших наборов данных в нейробиологии  

(4) вычислительная психиатрия (computational psychiatry)

Ключевые слова:

Artificial intelligence, Neuroscience, Neural imaging, Visual processing, Working memory, Computational psychiatry

1. Введение

Традиционное определение интеллекта в значительной степени основывается на возможностях развитых биологических организмов, в первую очередь человека.  Это обусловило направление исследований в первую очередь на создание системы общего искусственного интеллекта (AGI), способного имитировать основные способности человеческого разума, таких как восприятие, обучение и мышление. Ещё одно определение для реализации подобной модели – искусственный интеллект с тестом Тьюринга.

Учитывая эти задачи, неудивительно, что ученые, математики и философы, работающие в области ИИ, черпали вдохновение в изучении принципиальных механизмов работы мозга, его структурных и функциональных свойств.

Начиная с 1950-х годов, предпринимались попытки моделирования процессов обработки информации нейронами. Это в первую очередь касалось разработки перцептрона (Rosenblatt, 1958), высоко редукционистской модели нейронной передачи сигналов, в которой отдельный узел, получающий значимые входные данные, мог генерировать двоичный выходной сигнал, если суммирование входных данных достигало порогового значения.  Одновременно с когнитивной революцией, начавшейся в 50-х и 60-х годах и продолжавшейся, по крайней мере, до 90-х годов, первоначальное развитие искусственных нейронных сетей наталкивалось на существенное противодействие со стороны индустрии ИИ и когнитивных наук (Fodor and Pylyshyn, 1988, Mandler, 2002, Мински и Паперт, 1969). Однако к концу 1980-х развитие многослойных нейронных сетей и популяризация метода обратного распространения ошибки позволили устранить многие ограничения ранних перцептронов, включая их неспособность решать задачи нелинейной классификации, такие как обучение простой логической функции XOR (Rumelhart, Hinton , & Уильямс, 1986). Нейронные сети теперь могли динамически изменять свои собственные соединения, вычисляя функции ошибок сети и передавая их обратно через составные уровни.  Это обеспечило старт новому поколению ИИ, способного к интеллектуальным навыкам, включая распознавание изображений и речи (Bengio, 1993LeCun et al., 2015LeCun et al., 1989). На сегодняшний день метод обратного распространение ошибки по-прежнему широко используется для обучения глубоких нейронных сетей (Lillicrap et al., 2020Richards et al., 2019). Интеграция этих возможностей с методом обучения с подкреплением обеспечило возможность создания продвинутых систем обучения, способных соревноваться и превосходить человека в стратегических играх, включая Chess (Silver et al., 2018), Go (Silver et al., 2016Silver et al., 2018), покер (Moravčík et al., 2017) и StarCraft II (Vinyals et al., 2019).

Тем не менее биологическая правдоподобность (biological plausibility ) современной версии ИИ, несмотря на нейронаучное происхождение последнего, вызывает много вопросов. В самом деле, существует не так много свидетельств того, что алгоритм обратного распространение ошибки присущ процессам модификации синаптических связей между нейронами. (Crick, 1989Grossberg, 1987);  Вместе с тем, нужно отметить, что недавно выдвинутые гипотезы декларируют некоторую вероятность существования такой возможности. (Lillicrap et al., 2020Whittington and Bogacz, 2019). Хотя создание нейроморфных моделей явно не является необходимым для достижения всех целей ИИ, основным преимуществом биологически правдоподобного ИИ является его польза для понимания и моделирования процессов обработки информации в мозге.

Кроме того, мозг можно рассматривать как эволюционно выверенный шаблон интеллекта с опытом развития своих адаптивных качеств, производительности и энергоэффективности в миллионы лет. Таким образом, увеличение интеграции алгоритмов, полученных на основе результатов изучения мозга, может помочь в дальнейшем улучшении возможностей и эффективности ИИ.

В совокупности эти идеи способствовали развитие устойчивого интереса к созданию искусственного интеллекта, основанного на изучении мозга, и еще больше укрепили партнерство между индустрией искусственного интеллекта и нейронауками. В последнее десятилетие было предложено несколько биологически правдоподобных альтернатив методу обратного распространения ошибок, включая прогнозирующее кодирование (Bastos et al., 2012Millidge et al., 2020), согласованную обратную связь (Lillicrap, Cownden, Tweed, & Akerman, 2016), равновесное распространение (Scellier & Bengio, 2017), обучение на базе правил Хебба (Krotov and Hopfield, 2019Miconi, 2017) и zero-divergence inference learning (Salvatori, Song, Lukasiewicz, Bogacz, & Xu, 2021). Аналогичным образом, другие недавние усилия по преодолению разрыва между искусственными и биологическими нейронными сетями привели к развитию нейронных сетей, способных аппроксимировать стохастическую связь между нейронами на основе потенциалов (Pfeiffer & Pfeil, 2018), а также к созданию алгоритмов, ориентированных на реализацию функций внимания, включая трансформирующие архитектуры (Vaswani et al., 2017).

Взаимодействие между нейронауками и сферой ИИ имеет характер продуктивной обратной связи, и теперь  ИИ стремительно становится бесценным инструментом в нейронаучных исследованиях. Модели с элементами ИИ, разработанные для выполнения задач, основанных на принципах естественного интеллекта, предоставляют новые гипотезы о том, как те же процессы регулируются ну уровне самого человеческого мозга. Например, работа над распределенным обучением с подкреплением в ИИ недавно привела к предложению новой теории вероятностных распределений для связей на основе допаминовой регуляции (Dabney et al., 2020). Аналогичным образом целевые модели глубокого обучения для визуальной обработки использовались для оценки структурных свойств зрительной системы мозга и точного прогнозирования паттернов нейронной активности (Yamins & DiCarlo, 2016). Кроме того, последние достижения в области алгоритмов глубокого обучения вкупе с новыми уровнями производительности вычислительных систем позволяют теперь проводить высокопроизводительный анализ крупномасштабных наборов данных, в том числе полные изображения мозга животных и человека, ускоряя прогресс исследований в области нейронаук (Thomas et al., 2019Todorov et al., 2020Zhu et al., 2019). Модели глубокого обучения, обученные декодированию данных нейронной визуализации, могут создавать точные прогнозы для задач принятий решений, выбора действий и поведения, помогая нам понять функциональную роль нейронной активности - ключевую цель когнитивной нейронаук (Batty et al., 2019Musall et al., 2019).  Интересно, что подходы машинного обучения и глубокого обучения теперь также применяются в новой развивающейся области - вычислительной психиатрии. Новые возможности используются здесь для моделирования нормальных и дисфункциональных состояний мозга, а также для выявления аберрантных паттернов мозговой активности, которые могут применяться в качестве надежных классификаторов нарушений мозга (Cho et al., 2019Durstewitz et al., 2019Koppe et al., 2021Zhou et al., 2020).

В последние годы было выпущено сразу несколько обзоров, исследующих длительную и многогранную связь между нейронауками и ИИ (см. Hassabis et al., 2017Hasson et al., 2020Kriegeskorte and Douglas, 2018Richards et al., 2019Ullman, 2019). В этой статьей мы постарались дать краткое введение в то, как сотрудничество между нейронаукой и индустрией искусственного интеллекта стимулировало прогресс в обеих областях.  Основное внимание в текущем обзоре направлено на четыре важнейшие темы из докладов, представленных на симпозиуме «ИИ для нейронаук и нейроморфных технологий», состоявшегося в рамках программы Международной конференции по искусственному интеллекту и науках о мозге в 2020г:

(1) ИИ-модели рабочей памяти,

(2)  визуальная обработка на базе ИИ

(3) ИИ-анализ больших наборов данных в нейронауке 

(4) вычислительная психиатрия (computational psychiatry)

В частности, мы сосредоточимся на том, как недавние подходы, вдохновленные нейронаукой и использующие принципы работы живого мозга, приводят к созданию новых решений для сферы ИИ. Благодаря этой комбинации новые системы способны не только демонстрировать многие возможности из сложных задач мозга, но и расшифровывать нейронную активность самого мозга,  точно прогнозировать общее поведение и поведение мозга, его ментальное содержание. Эти результаты включают в себя моделирование импульсных (SNN) и рекуррентных нейронных сетей (RNN) рабочей памяти, основанных на изучении стохастической модели динамики импульсов биологических нейронов и их непрерывной активации во время операций сохранения памяти. Мы рассмотрим основные достижения в области изучения нейросетевых моделей обработки визуальных данных на базе свёрточных слоёв, которые в свою очередь основаны на некоторых принципах работы зрительной коры головного мозга. Кроме того, мы обсудим, как ИИ становится все более мощным инструментом для нейроучёных и врачей-клиницистов, находя применение в качестве средств диагностики и даже терапии, а также способствуя исследованиям принципов работы мозга, включая обработку информации и устройство памяти.

2. Искусственная рабочая память и открытия в нейронауках

Одним из основных препятствий на пути создания нейроморфных систем искусственного интеллекта была проблема моделирования рабочей памяти, важного компонента интеллекта. Сегодня в большинстве систем, реализованных благодаря возможностям компьютерного моделирования, используется форма рабочей памяти, известной как оперативная память (RAM), которая действует как кэш для данных, необходимых для работы центрального процессора, и отделённых от долговременного хранилища памяти на твердотельных или жестких дисках. Однако эта архитектура значительно отличается от принципов работы мозга, где рабочая и долговременная память, по-видимому, задействуют, по крайней мере, частично одни и те же нейронные субстраты, преимущественно неокортекс  (Baddeley, 2003Blumenfeld and Ranganath, 2007Rumelhart and McClelland, 1986Shimamura, 1995) и гипоталамус (Bird and Burgess, 2008Eichenbaum, 2017). Эти данные свидетельствуют о том, что в этих регионах рабочая память, вероятно, реализуется с помощью определенных функций мозга, которые обеспечивают быстрый и краткосрочный доступ к информации.

Исследование принципов функционирования рабочей памяти у человека и приматов показало, что повышенная и постоянная активность внутри клеточных ансамблей префронтальной коры, а также других областей неокортекса, гиппокампа и ствола мозга может иметь решающее значение для задач сохранения информации в рабочей памяти (Boran et al., 2019Christophel et al., 2017Fuster and Alexander, 1971Goldman-Rakic, 1995McFarland and Fuchs, 1992Miller et al., 1996Watanabe and Niki, 1985).  Было предложено несколько вариантов объяснений такой постоянной активности нейронов (см. Durstewitz, Seamans, & Sejnowski, 2000).  К ним относятся - рекуррентные возбуждающие связи между сетями нейронов (Hopfield, 1982O’Reilly et al., 1999), клеточная бистабильность (cellular bistability), при которой внутренние свойства нейронов могут вызывать состояние непрерывного импульса потенциалов (Lisman et al., 1998Marder et al., 1996O’Reilly et al., 1999) и синхронная цепочка активации (synfire chains), где активность поддерживается в синхронно запускаемых петлях с прямой связью (Diesmann et al., 1999Prut et al., 1998). Из них наиболее широко исследовались модели постоянного возбуждения в рекуррентно связанных нейронных сетях. Эти модели описывались функциями простых сетей, таких как сети рекуррентных аттракторов, где дискретная рабочая память представляет собой результат активации т.н. аттракторов - стабильных паттернов активности в сетях нейронов, взаимно связанных сильными синаптическими весами. Последние формируются посредством правил обучения Хебба (Amit et al., 2003Amit and Brunel, 1995Durstewitz et al., 2000). Афферентный вход в эти сети, достаточно сильный, чтобы при достижении порогового значения стимулировать рекуррентное возбуждение, вызывающее надпороговую активацию, которое сохраняется даже при удалении стимула и обеспечивает сохранение самого стимула в рабочей памяти. Последующие и более сложные вычислительные модели продемонстрировали, что повторяющиеся сети, соединяющие кору, базальные ганглии и таламус, способны поддерживать функции рабочей памяти и могут объяснять паттерны нейронной активности, наблюдаемые в нейрофизиологических исследованиях этого типа памяти  (Beiser and Houk, 1998Botvinick and Plaut, 2006Hazy et al., 2007O’Reilly et al., 1999Zipser, 1991).

Упомянутые выше исследования в биологии и вычислительной  психиатрии сделали возможным проектирование искусственных рекуррентных нейронных сетей (RNN)  на основе модели рекуррентных связей между нейронами в коре головного мозга. Дальнейшие исследования продемонстрировали, что такие RNN сети  способны выполнять широкий спектр когнитивных задач, требующих участия рабочей памяти (Botvinick and Plaut, 2006Mante et al., 2013Rajan et al., 2016Song et al., 2016Sussillo and Abbott, 2009Yang et al., 2019). Совсем свежие исследования были обращены к новому поколению импульсных рекуррентных нейронных сетей (SRNN), где решается задача воспроизведения свойств стохастической импульсной активности биологических цепей. Эти работы должны были продемонстрировать продуктивность SRNN сетей для решения когнитивных задач, сопоставимую с возможностями  continuous-rate RNN (Kim et al., 2019Xue et al., 2021Yin et al., 2020).

Новые импульсные сети не только нацелены на достижение большей энергоэффективности, но также реализуют большее соответствие реальным биологическим структурам и обеспечивают преимущества для моделирования, включая наше улучшенное понимание о функционировании рабочей памяти (Diehl et al., 2016Han et al., 2016Pfeiffer and Pfeil, 2018Taherkhani et al., 2020). Действительно, в недавнем исследовании было обнаружено, что сеть SRNN, обученная на задачах рабочей памяти, демонстрирует удивительно похожие временные параметры работы с аналогичными характеристиками работы отдельных нейронов в префронтальной коре головного мозга у приматов (Kim & Sejnowski, 2021). Дальнейший анализ модели выявил существование растормаживающей микро цепи, которая действует как критический компонент для долговременной нейронной активности, задействованной в обеспечении функционирования рабочей памяти в реальных и смоделированных сетях (Chaudhuri et al., 2015Wasmuht et al., 2018). Авторы предполагают, что рекуррентные сети с подобными ингибирующими микро цепями могут быть общей чертой корковых областей,  задействованных в механизмах кратковременной памяти. Это интересное направление исследований для нейробиологов, изучающих механизмы рабочей памяти в головном мозге.

Наконец, важно отметить, что, хотя есть четкие биологические доказательства импульсной активности во время периодов сохранения памяти в задачах с рабочей памятью, в большинстве исследований, сообщающих о постоянной активности в эти периоды, рассчитывалась усредненная импульсная активность по испытаниям, что потенциально маскировало важную динамику импульсов внутри самих измерений (Lundqvist, Herman, & Miller, 2018).  Интересно отметить, что недавний однократный анализ задач с рабочей памятью продемонстрировал, что нейросети лобной коры демонстрируют редкие временные скоординированные всплески пиковой активности, а не постоянную активацию  (Bastos et al., 2018Lundqvist, Herman, Warden, et al., 2018Lundqvist et al., 2016). Такие паттерны нейронной активности могут быть объяснены моделями временной (transient ) пиковой активности - такими как модель «синаптического аттрактора». В этом случае рабочая память формируется благодаря импульсам, сгенерированными с помощью синаптической пластичности Хебба, т.е. в промежутках между скоординированными по времени всплесками активности (Fiebig and Lansner, 2017Huang and Wei, 2021Lundqvist, Herman, and Miller, 2018Mongillo et al., 2008Sandberg et al., 2003). Эти модели предполагают, что синаптическая пластичность может позволить временно сохранять рабочую память энергоэффективным способом, который также менее восприимчив к помехам. В это же время всплески импульсов могут способствовать быстрому считыванию информации при необходимости (Huang and Wei, 2021Lundqvist, Herman, and Miller, 2018). Дальнейшее исследование рабочей памяти в биологических исследованиях с использованием анализов отдельных испытаний, а также основанных на нейробиологии моделей искусственного интеллекта, обученных задачам с рабочей памятью, может помочь выяснить, когда и каким образом мозг использует импульсную активность нейронов и процессы, основанные на нейропластичности.

Выше мы обсудили, как открытия нейробиологии за последние несколько десятилетий сделали возможными создание вычислительных моделей рабочей памяти человека и человекоподобных обезьян. Эти исследования впоследствии послужили основой для создания искусственных нейронных сетей, предназначенных для моделирования структуры и функций нейронных сетей мозга, включая вложенные рекуррентные связи между нейронами и начальное моделирование импульсных свойств нейронов. Взаимодействие между нейронауками о мозге и индустрией искусственного интеллекта совершило полный круг, а недавние модели на основе сетей типа SRNN теперь способствуют созданию новых теорий о механизмах мозга, лежащих в основе рабочей памяти (Kim & Sejnowski, 2021).  В следующем разделе мы продолжим изучение преимуществ партнерства между нейронауками и исследованиями искусственного интеллекта, обсуждая, как изучение и открытие принципов строения мозга вдохновляет разработку моделей искусственной визуальной обработки и как технологии и данные визуализации мозга помогают изучать процессы зрения и зрительного восприятия.

3. Декодируя зрительные системы мозга

Задача по созданию искусственных решений, способных имитировать биологическую систему зрительного восприятия, очень внушительна. Однако недавние попытки понять и реконструировать вентральный зрительный путь мозга, включающий серию взаимосвязанных корковых ядер, ответственных за иерархическую обработку и кодирование изображений в явные нейронные представления, показали большие перспективы в создании надежных систем ИИ. Возможности этих систем включают способность декодировать и интерпретировать процессы визуальной обработки в мозге, а также выполнение сложных навыков визуального интеллекта, включая распознавание изображений (Federer et al., 2020Verschae and Ruiz-del-Solar, 2015), распознавание движения (Manchanda and Sharma, 2016Wu et al., 2008) и отслеживание объектов (Luo et al., 2020Soleimanitaleb et al., 2019Zhang et al., 2021).

В попытках понять и измерить зрительное восприятие человека, модели машинного обучения, включая сети опорных векторов, были обучены декодировать простимулированные паттерны активности, которые аппараты фМРТ диагностировали в кортикальной области V1. Эти модели помогли сделать визуальную реконструкцию сопоставления локально представленных изображений (стимулов) и внутренних мысленных образов (Kamitani and Tong, 2005Miyawaki et al., 2008).  Аналогичным образом модели, обученные декодировать стимульную активность в высших зрительных областях коры головного мозга, смогли идентифицировать семантическое содержание образов сновидений (Horikawa, Tamaki, Miyawaki, & Kamitani, 2013). Результаты показывают, что визуальные качества как воспринимаемых, так и ментальных образов представлены в одних и тех же нейронных субстратах (нижние и верхние визуальные области для низкоуровневых перцептивных и высокоуровневых семантических признаков, соответственно). Это подтверждает предыдущие данные исследований на базе визуализации мозга с помощью ПЭТ, в котором визуальные ментальные образы активируют топографически организованную первичную зрительную кору - область, необходимую для зрительного восприятия (Kosslyn et al., 1993Kosslyn et al., 1995). Кроме того, эти исследования дополняют данные из растущего количества публикаций об эффективности ИИ в декодировании данных визуализации мозга для объективного изучения процессов зрительного восприятия человека (Kamitani and Tong, 2005Nishimoto et al., 2011). Наконец, помимо методов машинного обучения, использование сети глубокого генератора (DGN) в методе распознавания изображений с помощью очень глубокой сверточной нейронной сети (CNN) позволило использовать уровни иерархической обработки CNN таким же полным образом, как и при зрительном восприятии человека. При этом новый подход улучшает качество распознавания изображений на основе воспринимаемых или мысленных образов по сравнению с тем же CNN, но без DGN (Shen, Horikawa, Majima, & Kamitani, 2019).

Примечательно, что нейронные сети, обученные выполнять определённые зрительные задачи, часто, как сообщалось, приобретали свойства и возможности, аналогичные тем областям зрительной системы мозга, которые необходимы для решения тех же задач (Nonaka et al., 2020Yamins and DiCarlo, 2016). Сообщалось в частности, что сети CNN, включающие иерархические уровни обработки, подобные слоям вентрального зрительного пути, и обученные задачам распознавания изображений, могут точно предсказывать нейронные реакции в нижневисочной (НВ) коре головного мозга, самой высокой области вентрального зрительного пути у приматов (Cadieu et al., 2014Khaligh-Razavi and Kriegeskorte, 2014Yamins et al., 2014). Более того, высокопроизводительная вычислительная оценка возможных моделей CNN выявила сильную корреляцию между способностью модели распознавать объекты и ее способностью прогнозировать нейронную активность НВ-коры (Yamins et al., 2014). Аналогичным образом, недавние исследования показали, что использование компонентов, которые точно предсказывают активность первичной зрительной коры (область V1), повышает точность сетей CNN за счет снижения их восприимчивости к ошибкам, возникающих из-за искажений изображения, т.н. white box adversarial attacks (Dapello et al., 2020). Хотя эти исследования, по-видимому, подтверждают достоинства brain-like систем ИИ для визуальной обработки, до недавнего времени не существовало метода объективного измерения этого подобия. Для решения этой задачи эту были предложены два новых показателя - Brain-Score (BS) (Schrimpf et al., 2020) и brain hierarchy (BH) score (Nonaka et al., 2020), ориентированные на оценку функционального сходства между моделями ИИ и зрительной системы человека. В частности, метрика BS измеряет способность моделей прогнозировать активность и поведение мозга, тогда как метрика BH предназначена для оценки степени иерархического сходства между слоями нейронных сетей и областями мозга (Nonaka et al., 2020, Schrimpf et al., 2020). Интересно, что хотя сравнение нескольких широко используемых моделей визуальной обработки AI выявило положительную корреляцию между BS и точностью распознавания изображений (то есть нейронные сети, подобные мозгу, работали лучше), при использовании метрики BH был получен противоположный результат  (Nonaka et al., 2020, Schrimpf et al., 2020). Хотя эти результаты, по-видимому, противоречат друг другу, недавно разработанные высокопроизводительные нейронные сети, как правило, имели более низкий показатель BS, что позволяет предположить, что зрение на базе ИИ может сейчас отличаться от зрения человека  (Schrimpf et al., 2020). Следует учитывать, особенно для работы с метрикой BS, что, хотя способность модели прогнозировать активность мозга может указывать на ее функциональное сходство, это не обязательно означает, что модель имитирует реальные механизмы мозга. Фактически, статистики уже давно подчеркивают важность различия между объяснительным и прогнозным моделированием (Shmueli, 2010). Таким образом, если мы намерены использовать системы ИИ для моделирования процессов зрения и развития нашего понимания о том, как устроено зрение у человека, важно, чтобы мы продолжали увеличивать структурное и механистическое соответствие между моделями ИИ и нейробиологическим существом дела, а также развивать метрики для измерения этого соответствия. Действительно, учитывая известную сложность зрительной системы мозга, включая существование нескольких типов клеток (Gonchar et al., 2008Pfeffer et al., 2013) которые регулируются различными нейротрансмиттерами, (Azimi et al., 2020Noudoost and Moore, 2011) вполне вероятно, что сравнительно упрощенные искусственные нейронные сети еще не приблизились к возможностям полного моделирования множества процессов, участвующих в биологическом зрении и зрительном восприятии.

Наконец, в дополнение к той пользе, которую нейронные сети, созданные благодаря изучению мозга, демонстрируют для задач распознавания изображений, эти же сети также начинают использоваться для инновационных и практических применений для исследований в области нейробиологии зрения. Один из примеров здесь - недавнее использование искусственной нейронной сети для создания точных зрительных образов, которые можно проецировать непосредственно на сетчатку приматов и обеспечивать, таким образом, контроль активности отдельных нейронов или групп нейронов вентрального пути (область V4) (Bashivan, Kar, & DiCarlo, 2019). Эти результаты указывают на потенциал этого метода для неинвазивного контроля нейронной активности в зрительной коре головного мозга - мощного инструмента для нейробиологов. В следующем разделе мы дополнительно опишем, как ИИ в настоящее время все чаще используется для развития исследований в области нейробиологии, в том числе, для объективного анализа поведения животных и его нейронных основ.

4. ИИ для анализа поведения и его нейронных коррелятов

Понимание взаимосвязи между нейронной активностью и поведением - важнейшая цель для нейронаук. Недавно разработанные крупномасштабные методы нейровизуализации позволили собрать огромное количество данных, связанных с решением поведенческих задач у животных  (Ahrens and Engert, 2015Cardin et al., 2020Weisenburger and Vaziri, 2016Yang and Yuste, 2017). Вместе с тем, учитывая количество и скорость отдельных движений животных, выполняемых во время поведенческих задач, а также сложность идентификации отдельных нейронов среди больших и перегруженных наборов данных нейровизуализации, исследователям было сложно эффективно и объективно проанализировать поведение животных и их точные нейронные корреляты (Berman, 2018Giovannucci et al., 2019von Ziegler et al., 2021).  

Чтобы решить проблемы, связанные с маркировкой поведения животных, исследователи обратились за помощью к ИИ. За последние несколько лет было разработано несколько наборов программных инструментов с открытым исходным кодом, основанных на глубоком обучении, и предназначенных для трехмерной безмаркерной оценки позы для нескольких видов и типов поведения животных (Arac et al., 2019Forys et al., 2020Graving et al., 2019Günel et al., 2019Mathis et al., 2018Nath et al., 2019Pereira et al., 2019). Вероятно, наиболее широко используемой из них была DeepLabCut, глубокая нейронная сеть, которая включает в себя детекторы функций из DeeperCut - модели оценки позы для разных людей. Эта сеть способна при минимальном обучении точно оценить позы нескольких животных, которые часто используются в лабораторных исследованиях (Lauer et al., 2021Mathis et al., 2018Nath et al., 2019). Полученные таким образом данные, описывающие позы, затем можно комбинировать с различными инструментами контролируемого машинного обучения (с учителем), включая JAABA  (Kabra, Robie, Rivera-Alba, Branson, & Branson, 2013) и SimBA (Nilsson et al., 2020), которые, в свою очередь, позволяют автоматически идентифицировать определенные типы поведения, отмеченные людьми, такие как уход (grooming), замирание и различные виды социального поведения. Было продемонстрированно, что комбинирование подобных инструментов может соответствовать человеческим возможностям для точной количественной оценки нескольких типов поведения и может превзойти коммерческое ПО для отслеживания (треккинг) животных (Sturman et al., 2020). В дополнение к контролируемому машинному обучению для анализа данных о поведении животных было разработано несколько инструментов неконтролируемого машинного обучения (без учителя), в том числе MotionMapper (Berman, Choi, Bialek, & Shaevitz, 2014), MoSeq (Wiltschko et al., 2015) и совсем недавно uBAM  (Brattoli et al., 2021). Эти методы неконтролируемого машинного обучения позволяют объективно сегментировать весь дипазон поведения животных и потенциально могут выявить тонкие поведенческие черты, которые могут быть упущены людьми (Kwok, 2019).

Как и в случае с данными о поведении животных, анализ и описание  данных нейровизуализации животных занимает много времени и в значительной степени страдает от большой вариативности описаний различных авторов (Giovannucci et al., 2019). Такие сложности, как пример, характерны для задач классификации типов отдельных нейронов, где применяются методы крупномасштабной регистрации нейронной активности. Подобные исследования могут быть выполнены  с помощью визуализации in-vivo и использовать в качестве маркеров активности индикаторы кальция (Pnevmatikakis, 2019).  Наиболее широко использовались подходы неконтролируемого машинного обучения (без учителя), использующие алгоритмы сегментации на основе типов активностей, включая анализ главных и независимых компонентов (PCA / ICA) (Mukamel, Nimmerjahn, & Schnitzer, 2009), изменчивость ограниченной неотрицательной матричной факторизации (CNMF)  (Friedrich et al., 2021Guan et al., 2018Pnevmatikakis et al., 2016Zhou et al., 2018) и словарное обучение (Giovannucci et al., 2017Petersen et al., 2017) для извлечения сигналов интересующих нейроноподобных областей из общего фона.
Хотя эти методы и обладают  преимуществом в том, что они не требуют обучения и, следовательно, могут применяться для анализа различных типов клеток и даже для получения изображений дендритов, они часто страдают от ложноположительных результатов и не могут идентифицировать нейроны с низкой активностью. Это затрудняет продольное отслеживание активности нейронов – тех из них, которые могут быть временно неактивными в определенных контекстах (Lu et al., 2018). Чтобы устранить это ограничение, было разработано несколько контролируемых методов глубокого обучения, сегментирующих нейроны на основе характеристик, извлеченных из специально помеченных наборов данных визуализации на основе кальция (Apthorpe et al., 2016Denis et al., 2020Giovannucci et al., 2019Klibisz et al., 2017Soltanian-Zadeh et al., 2019Xu et al., 2016). Многие из этих инструментов, включая U-Net2DS (Klibisz et al., 2017),  STNeuroNet (Soltanian-Zadeh et al., 2019) и DeepCINAC (Denis et al., 2020) обучают сети CNN сегментировать нейроны в 2D или 3D измерениях. Также было продемонстрировано, что эти инструменты способны обнаруживать нейроны с точностью, близкой к человеческим возможностям, и превосходить возможности других методов методов, включая PCA / ICA, обеспечивая точное, быстрое и воспроизводимое обнаружение и классификацию нейронов (Apthorpe et al., 2016Giovannucci et al., 2019Mukamel et al., 2009).

Наконец, в настоящее время предпринимаются усилия по объединению анализа поведения животных на базе ИИ и данных нейровизуализации не только для автоматического соотнесения поведения и его нейронных коррелятов, но и для прогнозирования и моделирования поведения животных на основе проанализированных данных нервной активности.

Одним из таких недавно разработанных решений является BehaveNet, вероятностная структура для неконтролируемого анализа (unsupervised analysis ) видеозаписей поведения с полу-контролируемым декодированием нейронной активности (Batty et al., 2019). Полученные на базе подобных решений генеративные модели способны декодировать данные о нейронной активности животных и создавать вероятностные видео-симуляции поведения животных в полном разрешении (Batty et al., 2019). Дальнейшее развитие технологий, предназначенных для автоматизации сопоставления паттернов нейронной активности с поведенческими мотивами, может помочь выяснить, как отдельные паттерны нейронной активности связаны с конкретными движениями (Musall et al., 2019). Помимо представленных здесь исследований, которые описывают подходы к анализу и моделированию здорового поведения и здоровой активности мозга у животных, также изучалось использование ИИ для понимания и выявления аномального функционирования мозга. В следующем разделе мы обсудим основанные на ИИ подходы к объективной классификации психических расстройств и то, как подходы глубокого обучения использовались для моделирования таких расстройств в искусственных нейронных сетях.

5. Связь между индустрией ИИ и психиатрией

Несмотря на существование принятых стандартизированных диагностических критериев в клинических руководствах, таких как Руководство по диагностике и статистике психических расстройств (DSM) и Международная классификация болезней (ICD), психические расстройства и нарушения развития по-прежнему в первую очередь идентифицируются на основе субъективных поведенческих симптомов пациента и на основе тестов, опросников. Однако эти методы часто оказываются ненадёжными из-за их фактора субъективности (Wakefield, 2016), а также они формируют интерпретационный разрыв между феноменологией и нейробиологией. Вместе с тем, за последние несколько десятилетий огромные достижения в области вычислительной техники, наряду со сбором больших массивов данных нейровизуализации, позволили исследователям начать восполнять этот пробел, используя ИИ для выявления, моделирования и, возможно, даже лечения психических расстройств и нарушений развития.

Одним из самых многообещающих направлений исследований становится использование ИИ для объективной идентификации заболеваний головного мозга. Благодаря использованию методов машинного обучения, стало возможным построение классификаторов для прогнозирования диагностических признаков психических расстройств и нарушений развития  (Bzdok and Meyer-Lindenberg, 2017Cho et al., 2019Zhou et al., 2020 для обзора). Результаты, полученные с помощью этих вероятностных классификаторов, обеспечивают определенную степень достоверности классификации, которую можно интерпретировать как нейрональную предрасположенность к расстройству, и представляют новые биологические системы определения расстройств. Однако хотя многие из этих классификаторов, в том числе для шизофрении (Greenstein et al., 2012Orrù et al., 2012Yassin et al., 2020) и РАС (расстройств аутистического спектра, Eslami et al., 2021Yassin et al., 2020), и способны точно идентифицировать предполагаемое расстройство, основная критика заключалась в том, что они часто подтверждаются только в одной выборочной группе. Чтобы решить эту проблему, в последнее время были предприняты попытки создать надежные классификаторы с использованием более крупных и разнообразных выборочных данных. Это привело к идентификации классификаторов для РАС и шизофрении, которые можно было бы обобщить на независимые выборочные группы независимо от этнической принадлежности, страны и производителя МРТ, и при этом продемонстрировать точность классификации от 61% до 76% (Yamada et al., 2017Yoshihara et al., 2020). Помимо машинного обучения, также применялись методы глубокого обучения нейросетей для классификации психических расстройств и нарушений развития (Durstewitz et al., 2019Koppe et al., 2021). Основным преимуществом глубоких нейронных сетей является то, что их многослойный дизайн делает их особенно подходящими для изучения высокоуровневых представлений на основе сложных необработанных данных. Сравнивая с методами машинного обучения, такой подход позволяет извлекать информацию из данных нейровизуализации, обладающих гораздо меньшим количеством параметров  (Durstewitz et al., 2019Jang et al., 2017Koppe et al., 2021Plis et al., 2014Schmidhuber, 2015). Сравнительно недавно были опубликованы данные о том, что несколько глубоких нейронных сетей эффективно классифицируют нарушения мозга на основе данных нейровизуализации, включая шизофрению (Oh et al., 2020Sun et al., 2021Yan et al., 2019Zeng et al., 2018), аутизм (Guo et al., 2017Heinsfeld et al., 2018Misman et al., 2019Raj and Masood, 2020), СДВГ (Chen, Li, et al., 2019Chen, Song, and Li, 2019Dubreuil-Vall et al., 2020), и депрессию (Li et al., 2020Uyulan et al., 2020). Дальнейшая разработка моделей искусственного интеллекта дименсиональной психиатрии на основе анализа цифровых данных, вероятно, поможет решить текущие недостатки диагностики на основе категориальных критериев.

Помимо классификации расстройств на основе данных нейровизуализации, ИИ также все чаще используется для моделирования различных психиатрических расстройств и нарушений развития  (Lanillos et al., 2020). Эта работа в основном началось в 1980-х и 90-х годах с исследований, моделирующих шизофрению и РАС с использованием искусственных нейронных сетей (Cohen, 1994Cohen and Servan-Schreiber, 1992Hoffman, 1987Horn and Ruppin, 1995). Многие из этих моделей были вдохновлены биологическими доказательствами структурных и синаптических аномалий, связанных с конкретными симптомами психического расстройства. Например, признаки снижения метаболизма во фронтальной коре головного мозга  (Feinberg, 1983Feinberg et al., 1965Feinberg et al., 1964) и аберрантная синаптическая регенерация аномальных структур головного мозга  (Stevens, 1992) побудили учёных к созданию нейронных сетей, предназначенных для моделирования того, как синаптическое сокращение (прунинг, Hoffman & Dobscha, 1989) и реактивная синаптическая реорганизация (Horn and Ruppin, 1995Ruppin et al., 1996) могут объяснить бред и галлюцинации у больных шизофренией. Точно так же нейросети для избыточных или ослабленных нейронных связей (Cohen, 1994Cohen, 1998Thomas et al., 2011) помогли смоделировать биологические наблюдения аномальной плотности нейронов в кортикальных, лимбических и мозжечковых областях (Bailey et al., 1998Bauman, 1991Bauman and Kemper, 1985). Предполагается, что именно они способствуют регрессу развития психики при РАС. Применение компьютерных моделей, разработанных в когнитивной науке, к психическим расстройствам было признано важным подходом к пониманию когнитивных механизмов, лежащих в основе психиатрических симптомов. Интересно, что в последнее время модели на базе глубокого обучения, включая многомерные модели с использованием сетей RNN для шизофрении (Yamashita & Tani, 2012, Idei et al., 2017Idei et al., 2018) начали внедряться в роботов (humanoid robot), что позволяет осуществлять прямое наблюдение и сравнение смоделированного поведения с поведением пациентов.

Наконец, в ближайшем будущем ИИ может начать играть важную роль в лечении психических расстройств и нарушений развития. Сейчас для лечения подобных расстройств, включая депрессию и тревогу, начинает тестироваться метод компьютерно-ассистирующей терапии (Computer-assisted therapy , CAT) включающий применение чат-ботов с ИИ для проведения когнитивно-поведенческой терапии (Carroll and Rounsaville, 2010Fitzpatrick et al., 2017Fulmer et al., 2018). Хотя применение подобных CAT-систем все еще находится в зачаточном состоянии, решения подобного уровня потенциально способны предложить очевидные преимущества с точки зрения цены и доступности в сравнении с методами лечения под руководством человека. Вместе с тем, их эффективность по сравнению с используемыми в настоящее время терапевтическими методами еще предстоит тщательно изучить. Кроме того, определение классификаторов психических расстройств на основе методов нейровизуализации (описанных выше) сделало возможным запуск технологии типа нейрофидбэк (нейротерапия на основе биологической обратной связи, БОС-терапия)  с применением ресурсов фМРТ в реальном времени с помощью которой, пациенты пытаются нормализовать свой собственный паттерн нейросвязей в мозге с помощью технологии нейрофидбэк. Мета анализ таких исследований показал, что лечение с применением технологии нейрофидбэк приводит к значительному облегчению симптомов нескольких расстройств, включая шизофрению, депрессию, тревожное расстройство и РАС, что предполагает потенциальную пользу от дальнейшего использования таких цифровых методов лечения (Dudek and Dodell-Feder, 2020Schoenberg and David, 2014).

6. Заключение

С момента начала исследований ИИ в середине прошлого века мозг служил основным источником вдохновения для создания искусственных систем интеллекта. Это в значительной степени основано на том, что мозг является доказательством концепции существования универсальной и всесторонней интеллектуальной системы, способной к восприятию, планированию и принятию решений, и, следовательно, предлагает привлекательный шаблон для разработки ИИ. В этом обзоре, основанном на темах, представленных на Международном симпозиуме по искусственному интеллекту и науке о мозге 2020 года, мы обсудили, как  разнообразные открытия в нейронауках используются для создания новых и оптимизации существующих систем ИИ. В частности, это привело к развитию многомерных глубоких нейронных сетей, которые часто включают иерархические архитектуры, созданные на базе аналогичных иерархических структур мозга. Такие решения способны на настоящие интеллектуальные подвиги, включая распознавание визуальных объектов и решение когнитивных задач на основе памяти. Достижения в области искусственного интеллекта также помогли ускорить прогресс в общих нейронауках. Здесь мы привели данные, как использование машинного обучения и нейронных сетей для автоматизированного анализа больших данных произвело революцию в поведенческом анализе животных и нейровизуализационных исследованиях, а также стало применяться для объективной классификации психических расстройств и нарушений развития.

Важно отметить, что, хотя в текущем обзоре это не обсуждалось подробно, следует учитывать, что отношения между ИИ и нейронаукой не просто двусторонние, но также, по всей видимости, включают области когнитивной науки ((see Battleday et al., 2021Cichy and Kaiser, 2019Forbus, 2010Kriegeskorte and Douglas, 2018 ). Действительно, на протяжении многих лет большая часть исследований искусственного интеллекта основывалась на теориях функционирования мозга, разработанных учеными-когнитивистами (Elman, 1990Hebb, 1949Rumelhart and McClelland, 1986). Например, сверточные нейронные сети, обсуждавшиеся ранее в этом обзоре (в разделе о визуальной обработке), частично были вдохновлены вычислительными моделями разума, включая такие принципы, как нелинейные карты характеристик и объединение входных данных (pooling of inputs), которые в свою очередь получены из нейрофизиологических исследований животных (Battleday et al., 2021Fukushima, 1980Hubel and Wiesel, 1962Mozer, 1987Riesenhuber and Poggio, 1999). В свою очередь, нейронные сети использовались для создания новых когнитивных моделей интеллектуальных способностей, включая восприятие, память и язык, что привело к развитию направления коннекционизма в когнитивной науке  (Barrow, 1996Fodor and Pylyshyn, 1988Mayor et al., 2014Yamins and DiCarlo, 2016). Если мы собираемся использовать ИИ для моделирования и потенциального объяснения функционирования мозга (основного направления когнитивной науки) важно, чтобы мы продолжали использовать не только биологические данные из исследований в нейронауках, но и когнитивные модели. Такой подход  позволит создавать более продвинутый дизайн искусственных нейронных сетей для всех его основных составляющих - архитектура, механизмы и алгоритмы.

Несмотря на свои достижения и кажущуюся сложность, современные системы искусственного интеллекта все еще заметно уступают нативным нейросетевым возможностям мозга и в большинстве случаев всё еще не имеют возможности точно моделировать функции мозга (Bae et al., 2021Barrett et al., 2019Hasson et al., 2020Pulvermüller et al., 2021Tang et al., 2019). Основное ограничение состоит в том, что, как правило, современные модели все еще не могут моделировать мозг на нескольких уровнях: от синаптической реорганизации и влияния нейромодуляции нейромедиаторов, а также гормонов на возбудимость нейронов - на микроуровне,  до крупномасштабной синхронизации пиковой активности и глобальной взаимосвязанности - на макроуровне. Фактически, интеграция различных моделей функционирования мозга, в том числе для моделей коры головного мозга, описанных в этом обзоре, а также для моделей других областей мозга, в том числе лимбической и моторной (Kowalczuk and Czubenko, 2016Merel et al., 2019Parsapoor, 2016), остается одной из самых больших проблем при создании общей системы искусственного интеллекта (AGI), способной моделировать работу всего мозга. Несмотря на эти трудности, ясно, что продолжающееся взаимодействие между нейронауками и индустрией ИИ, несомненно, ускорит прогресс в обеих областях.

Комментарии (2)


  1. count_enable
    28.01.2022 18:57

    Ну, кратким это назвать сложно.

    Я могу сформулировать взаимодействие между computational neuroscience и machine learning куда короче:

    • Главное и почти единственное взаимодействие между этими дисциалинами состоит в подготовке рабочей силы. После защиты докторской, пары лет постдока на птичьих правах и осознания что постоянная позиция не светит, computational neuroscientists стыдливо начинают искать работу в "ИИ", уверяя себя что это только временно. После первой зарплаты раза в 3-4 больше своей аспирантской приходит переосмысление своих ценностей и принятых решений, в результате которого computational neuroscientist перестаёт быть таковым.


    1. phenik
      29.01.2022 05:35
      -1

      Вы не путаете? В оригинальной статье computational neuroscience даже не упоминается) Речь идет о исследованиях в области нейронаук. Большинство базовых идей ИНС позаимствованы из этих исследований, достаточно запустить поиск по ключевым словам Biologically Inspired artificial neural или Brain inspired artificial neural. Что касается зп, то это моральный выбор — заниматься наукой, или иметь плюшки в бизнесе) при удачном стечении обстоятельств можно совмещать.