В материалах часто пишу о том, что дофамин – это нейрогормон предвкушения и мотивации. Однако, это также элемент глубокой и сложной структуры самообучения. Которая стала известна буквально в новом исследовании. 

Вообще дофамин – основной элемент триады дофамин, норадреналин, ацетилхолин. Эти три элемента помогают войти в то самое состояние потока, на котором держится ультимативная работоспособность.

Карта к дофамину

Это впервые в истории, когда ученые создали карту путей регуляции дофамина. При этом сама карта создавалась режиме реального времени, и основывалась на процессах, протекающих глубоко внутри мозга трех человек. Как результат ученые поняли, что дофамин играет важную роль не только в распознавании вознаграждений, но и в обучении на ошибках. Что способно помочь ученым улучшить кремниевый мозг.

Почему дофамин так интересен?

Исследователи из Медицинской школы Университета Уэйк Форест, далее WFUSM, собрали информацию о механизмах принятия решений. Принципы и понимание работы таких механизмов поможет лучше понять природу психических заболеваний. 

Ранее исследования показали, что дофамин играет важную роль в том, как животные учатся на принципе «поощрений» и «наказаний». Но ранее мы не разбирали принципы дофаминовой активности в рамках кратких сроков, когда колебание нейрогормона занимает доли секунды.

Это первое исследование на людях, в ходе которого изучается, как дофамин кодирует принципы вознаграждений и наказаний. Также мы разобрались с тем, может ли механизм синтеза дофамина быть оптимальным обучающим сигналом в области искусственного интеллекта.

Доктор Кеннет Т. Кишида, доцент кафедры физиологии, фармакологии и нейрохирургии в WFUSM

Принципы глубинного исследования дофамина

Ученые использовали циклическую вольтамперометрию, быстрое сканирование и машинное обучение для измерения уровня дофамина в реальном времени. Поскольку это можно сделать только во время инвазивной хирургии, то в исследовании смогли принять участие три пациента. Им изначально была назначена  глубокая стимуляция мозга при эссенциальном треморе. Подобные исследования – одна из областей, способствующих более тесно подружить органические и синтетические системы интеллекта.

Микроэлектрод из углеродного волокна был вставлен глубоко в мозг участников для мониторинга уровня дофамина в полосатом теле — области мозга, участвующей в принятии решений, формировании привычек и реакции вознаграждения.

Затем участники проходили игру, состоящую из трех уровней. Уровни были спроектированы так, чтобы игроки могли полагаться только на собственный опыт, извлекая уроки из ранее пройденных заданий. И в процессе игроки учились делать выбор, который максимизирует вознаграждение, помогая поднять уровень дофамина, и минимизирует наказания. 

Игроки награждались реальными денежными призами за принятие правильных решений и теряли деньги в качестве штрафа за неверный выбор. Уровень дофамина измерялся каждые 100 миллисекунд у каждого игрока на всех этапах игры.

Первые выводы про дофамин

Главное в исследовании: механизм синтеза и работы дофамина оказался в разы многограннее и сложнее, чем считалось учеными ранее. Колебания уровней дофамина имеют огромное значение в регулировании и переосмыслении получаемого опыта. 

Мнение авторов исследования о дофамине

Мы обнаружили, что дофамин не только играет роль в передаче сигналов как о положительном, так и об отрицательном опыте, но, по-видимому, делает это максимально эффективным образом для извлечения опыта.

Также, в мозге могут быть независимые пути, которые отдельно задействуют дофаминовую систему для вознаграждений и наказаний. Наши результаты показывают удивительный результат: эти два пути могут кодировать опыт вознаграждения и наказания с разницей в 200–400 миллисекунд.

Исследование показывает, что дофамин — ключевой фактор того, как мы учимся на своем опыте. И не важно, хороший это опыт, или плохой. Суть в том, что дофамин помогает мозгу адаптировать поведение, чтобы делать выбор, связанный с положительными результатами.

Этот раздел написан со слов доктора Кеннета Т. Кишиды, доцента кафедры физиологии, фармакологии и нейрохирургии в WFUSM

Вместо вывода

Традиционно дофамин часто называют нейрогормоном удовольствий. Но это не так. Дофамин – это скорее элемент сложной системы, которая обучает наш мозг и направляет поведение. Тот факт, что дофамин также участвует в обучении нашего мозга через наказания – важное открытие. Оно может указывать на новые механизмы, лежащие в основе депрессии, зависимости и связанных с ними психиатрических и неврологических расстройств.

Комментарии (10)


  1. oleg_rico
    27.12.2023 11:13
    +2

    Статью плюсанул, но всё равно не понял что в этом нового? Механизм запоминания и обучения тесно связан с эмоциями которые нейромедиаторы и вызывают.


    1. MisterClever Автор
      27.12.2023 11:13
      +1

      До этого исследования ученые знали, что можно повышать дофамин после урока, и человек лучше усваивал материал. Об этом говорил и Губерман на своих подкастах. Но подъем дофамина рассматривался в духе: дофигища дофамина здесь и сейчас.А это исследование показывает, что важны колебания дофамина в разрезе 200-400 мс, в процессе решения задач. И в этом лежит потенциал для создания алгоритмов для обучения нейросетей


      1. raamid
        27.12.2023 11:13
        +2

        А какая связь между промежутком в 200-400 мс и алгоритмами для обучения нейросетей? Насколько я понимаю, этот промежуток времени относится к живым существам, а алгоритмы - это для искусственных нейросетей.


        1. Snark-s
          27.12.2023 11:13
          +1

          Сделать для ии аналог длфаминовой регуляции


  1. Daddy_Cool
    27.12.2023 11:13
    +1

    А как похвалить нейросеть?


    1. Rive
      27.12.2023 11:13

      Отметить, что этот результат метрически ближе к желаемому, чем другие попытки.


      1. Daddy_Cool
        27.12.2023 11:13

        И у неё появится приятное чувство во всех нейрончиках? ))) Кажется алгоритмы вообще мотивируются только негативно. Банальный цикл - сделал - норм, так и должно быть, не сделал - а ну делай пока не сделаешь! Как у буддистких учителей из э... сказаний.


        1. Rive
          27.12.2023 11:13

          Ощущает ли учитель приятные чувства своего ученика?


  1. dl21
    27.12.2023 11:13
    +2

    Давно уже завязал и давал себе обещание не реагировать, но когда видишь подобные публикации... Подскажите Филипп у вас есть специализированное образование позволяющее хотя бы примерно понимать суть процессов о которых вы пишите?


  1. dedalter
    27.12.2023 11:13
    +2

    У меня болезнь Паркинсона. Современная терапия - заместительная, т.е. действие основных лекарств направлено на выработку дофамина в мозгу. В работе рассматривается вопрос о принципах действия этого нейромедиатора, циклах и временных интервалах в процессе обучения. Возможно, эти исследования помогут найти лекарства, которые позволят более эффективно и рационально использовать дофамин. Знания механизмов и принципов работы мозга применялись и будут применяться в создании программ ИИ. Возможно удастся построить взаимодополняющие модели работы мозга (в том числе долговременной и кратковременной памяти) и программного кода в процессоре.