Давно известно, что биологические нейроны действуют подобно битам: либо отправляют сигнал соседнему нейрону, либо не делают этого; поэтому исследователи построили модель, где роль обучающих сигналов выполняют всплески нейронной активности.
Не прерывая работу нейронов, эта модель позволяет выполнять биологическое обратное распространение, а эффективность реализации нового алгоритма близка к эффективности классического обратного распространения. За подробностями и кодом приглашаем под кат, пока у нас начинается курс по ML и DL.
Когда человек или машина учится лучше справляться с проблемой, от обучения остаётся след. В основе улучшения производительности лежит последовательность физических изменений клеток в мозге или изменений числовых значений в алгоритме. Но определение того, какие именно изменения нужно внести, — немалый труд.
Мозг или система ИИ должны точно определить, какие элементы в их конвейере ответственны за ошибки, а затем внести необходимые изменения. Это называется проблемой определения ответственности. Проще говоря, это поиск виноватых.
Инженеры ИИ решили проблему определения ответственности для машин с помощью мощного алгоритма под названием «обратное распространение». Этот алгоритм был популяризирован в 1986 году благодаря работе Джеффри Хинтона, Дэвида Румельхарта и Рональда Уильямса.
Сегодня обратное распространение — рабочая лошадка, которая помогает в обучении самых успешных ИИ, известных как глубокие нейронные сети, имеющие скрытые слои искусственных «нейронов» между входным и выходным слоями.
И вот теперь, в опубликованной Nature Neuroscience статье, учёные, возможно, нашли работающий в реальном времени эквивалент алгоритма в мозге. Группа исследователей под руководством Ричарда Науда из Университета Оттавы и Блейка Ричардса из Университета Макгилла и Института искусственного интеллекта Мила в Квебеке создала новую модель алгоритма обучения мозга, которая может имитировать процесс обратного распространения.
Выглядит она настолько реалистично, что неврологи обратили внимание на этот процесс и теперь заинтересованы в изучении реальных нейронов с целью выяснить, действительно ли мозг делает это.
«Приходящие из теории идеи могут стимулировать проведение сложных экспериментов, и, на мой взгляд, представленная работа преодолевает эту планку», — считает Мэтью Ларкум, экспериментальный нейробиолог из Берлинского университета им. Гумбольдта. «Есть биологическое правдоподобие, которое может иметь большие последствия».
Модель обучения мозга, предложенная Блейком Ричардсом из Университета Макгилла и Института искусственного интеллекта Мила, а также Ричардом Наудом из Университета Оттавы, может окончательно решить проблему определения ответственности в мозге человека.
Однако процессы обучения ИИ и мозга не совсем одинаковы. Когда глубокая нейронная сеть обучается распознавать изображение, это происходит в два этапа: сначала прямое распространение, а затем обратное распространение.
На первом этапе обучения нейроны во входном слое кодируют признаки изображения и передают их дальше. Затем нейроны в скрытых слоях выполняют вычисления и отправляют результаты на выходной слой, который выдаёт свой прогноз (например, «кошка»).
Но если на самом деле на изображении была собака, то алгоритм обратного распространения должен прийти на помощь и исправить ошибку через перерасчёт соединяющих нейроны весов. Обратное распространение рассчитывает, как каждый нейрон может внести меньший вклад в общую ошибку, начиная с ближайших к выходному слою нейронов, двигаясь по каждому слою назад.
Когда алгоритм видит, что увеличение активности данного нейрона улучшит, например, выходной прогноз, то веса этого нейрона увеличиваются. Цель — изменить все связи в нейронной сети, каждую понемногу, в нужном направлении — до тех пор, пока выходные прогнозы не станут точнее.
Чтобы решить проблему определения ответственности, на протяжении десятилетий исследователи пытались понять, как мозг выполняет нечто вроде обратного распространения.
Обратное распространение само по себе неправдоподобно биологически, потому что, помимо прочего, биологические нейроны не могут просто остановить обработку внешнего мира и ждать, пока начнётся обратное распространение. Это привело бы к провалам в зрении или слухе. Верно и то, что нейроны могут посылать «всплески» быстро. Также доказано, что это изменяет связи между нейронами, так что всплески становятся естественным кандидатом решения проблемы определения ответственности.
В новой модели команда рассматривала всплески нейронов как третий выходной сигнал — поток из сигналов «1», расположенных друг к другу так близко, что они фактически становятся сигналом «2».
Вместо кодирования чего-либо о внешнем мире сигнал «2» действует как «обучающий сигнал», сообщая другим нейронам, следует ли им усилить или ослабить свои связи друг с другом, на основе накопленной в верхней части цепи ошибке.
Чтобы этот обучающий сигнал решил проблему непрерывного определения ответственности, модель требовала ещё одного ключевого элемента. Команда Науда и Ричардса предположила, что нейроны имеют отдельные отсеки в верхней и нижней части, и эти отсеки совершенно по-разному обрабатывают нейронный код.
«[Наша модель] показывает, что действительно можно иметь два сигнала, один из которых идёт вверх, а другой — вниз, и эти сигналы могут проходить один через другой», — рассказывает Науд.
Модель предполагает, что древовидные отростки, которые получают входные сигналы на вершинах нейронов, чтобы настроить свои связи и уменьшить количество ошибок, слушают только всплески (то есть внутренний обучающий сигнал).
Как и при обратном распространении, нейроны настраиваются сверху вниз: согласно модели верхние нейроны управляют вероятностью отправки всплеска нейронами внизу.
Исследователи показали, что, когда в сети происходят больше всплесков, нейроны склонны увеличивать прочность своих связей, а когда всплески происходят реже, прочность связей имеет тенденцию к снижению.
Идея заключается вот в чём: сигнал всплеска сообщает нейронам, что они должны быть активны во время выполнения задания, укрепляя свои связи, если это уменьшает ошибку.
Если всплесков нет, это даёт сигнал нейронам, что они должны быть неактивными и, возможно, им необходимо ослабить свои связи. В то же время отростки в нижней части нейрона относятся к всплескам так, как если бы это были одиночные спайки, то есть нормальный сигнал внешнего мира. Это позволяет им продолжать посылать сенсорную информацию вверх по цепи без перерыва.
«Представленная идея кажется логичной, и я думаю, это свидетельствует о её красоте», — считает Жуан Сакраменто, вычислительный нейробиолог из Цюрихского университета и ETH Zurich, — Я думаю, это блестяще».
Подобной логике пытались следовать другие учёные. Двадцать лет назад Конрад Кординг из Университета Пенсильвании и Петер Кёниг из Университета Оснабрюка в Германии предложили схему обучения с двухкамерными нейронами. Но, в отличие от новой модели, в их предложении не было множества биологически важных специфических деталей. Это было только предложение — они не могли доказать, что оно действительно может решить проблему определения ответственности.
«Тогда у нас просто не было возможности проверить эти идеи», — рассказал Кординг.
Кординг считает новую работу «огромным трудом» и собирается продолжить её в своей лаборатории.
При помощи современных мощностей Науд, Ричардс и их коллеги создали модель, где роль обучающего правила выполняли всплески нейронов. Они показали, что такой подход решает проблему определения ответственности в классической задаче, известной как XOR. Эта задача требует обучения реагировать, когда один из двух входов (но не оба) равен 1.
Исследователи также показали, что построенная с использованием их правила всплеска глубокая нейронная сеть на сложных задачах классификации изображений может приблизиться к производительности алгоритма обратного распространения. Но возможности для улучшения всё ещё есть: алгоритм обратного распространения оказался более точным, и ни один из них полностью не соответствует возможностям человека.
«Должны быть некие детали, которых у нас нет, и мы должны создать модель лучше», — заявил Науд. «Главная цель статьи — сказать, что обучение, которым заняты машины может аппроксимироваться физиологическими процессами».
Взволнованы также исследователи искусственного интеллекта: выяснение того, как мозг аппроксимирует обратное распространение, может улучшить процесс обучения ИИ.
«Если понять процесс, это может привести к созданию систем, решающих вычислительные задачи так же эффективно, как это делает мозг», — считает Марсель ван Гервен, глава отдела искусственного интеллекта в Институте Дондерса при Университете Радбоуда в Нидерландах.
Новая модель предполагает, что партнерство нейронауки и искусственного интеллекта может вывести эти области за рамки нашего понимания сегодня, найти общие принципы способности к обучению мозга и машины как таковой.
«Эти принципы, в конечном счёте, выведут мозг на новый уровень, за рамки вычислительной машины», — считает Ларкум.
Пока учёные разбираются в тонкостях активности мозга, вы можете обратить внимание на наши курсы, чтобы лучше понять искусственные нейросети и научиться с их помощью решать проблемы бизнеса:
Также вы можете перейти на страницы из каталога, чтобы узнать, как мы готовим специалистов в других направлениях. И последнее — ссылки на код:
Статья на biorxiv (открытый доступ)
Профессии и курсы
Data Science и Machine Learning
Python, веб-разработка
Мобильная разработка
Java и C#
От основ — в глубину
А также:
Комментарии (19)
decomeron
25.10.2021 23:13-1Меня всегда удивляет, зачем для вот этого всего нужен телефон? А как ж перс данные?
Хотя получить было бы интересно
AN3333
26.10.2021 11:01Вот у меня из такого рода фрагментов картинка не складывается. Вроде бы давно известны нейромедиаторы которые действуют в обратную сторону в синапсах. Почему-то про обсуждение связи этого с обратным распространением не слышал. Про обратное распространение пол века говорят применительно к компьютерным "нейронным сетям" и всякий раз словно это новость. Нет ли какой хорошей книги для получения связной картины?
iShrimp
26.10.2021 20:29Похоже, тут не открыли ничего принципиально нового, а лишь исследовали механизм долговременной потенциации / депрессии, являющийся движущей силой обучения с подкреплением. Синапсы помнят своё недавнее состояние, и те из них, которые активно работали (пропускали пачки импульсов), укрепляются при положительном и разрушаются при отрицательном отклике.
napa3um
28.10.2021 10:18+1https://ru.m.wikipedia.org/wiki/Муравьиный_алгоритм - наиболее обобщённый, абстрагированный вариант процесса оптимизации, при этом «реализован» в мозгу он практически «буквально». Математически, в свою очередь, он может сводиться к любым вариантам обучения искусственных нервосеток, именно в силу своей обобщённости. Проблема построения «нейросетки как у человека» не в том, что мы не знаем, чем мозг занимается (и нам даже не особо важно, как он это делает), а в том, что мы не имеем полных начальных данных (табулы расы, сформированной эволюционно) и полных наборов обучающих сигналов среды :).
AN3333
28.10.2021 17:09Нет ли ссылки на связь этого алгоритма с мозгами?
napa3um
28.10.2021 18:21Я из "нейробиологического" читал только Хьюбела "Глаз, мозг, зрение" (ну, помимо разрозненных статей в интернетах), в принципе, там на примере зрительного тракта достаточно подробно расписана "механика" мозгов. Напрямую там о соотношении этих механизмов с алгоритмами ИИ не говорится (Хьюбел - хороший учёный, аккуратно и непредвзято рассказывает об, не особо пачкая текст своими субъективными далеко идущими выводами :)), но материала достаточно, чтобы самому провести такие аналогии (об истощении нехоженных тропинок, об ожирении хоженных :)). Также где-то попадались статьи об обучении рыбок, муравьёв, пчёл, которые дизайном эксперимента тоже "подтверждают" такую модель (в смысле не противоречат ей :)). Ещё была статья (возможно, даже на хабре) об "обучении" амёбы, она там ложноножками какие-то ответы выбирала в "арифметических" задачах, и тоже дизайн эксперимента, по сути, реализовывает ACO через накопление ферментов в ложноножках (по сути, амёба в этом эксперименте - ширма, её можно бы было заменить липкой средой с магнитными шариками или типа того, чтобы реализовать "колонию муравьёв, ходящих до ответов" :)). Так, чтобы прям конкретно было "вот тут муравьиный алгоритм, всё, расходимся", пожалуй, не найду статьи, такого пруфа у меня нет :). Но это лишь потому, что сам вопрос как бы и не особо требует ответа, он самоочевидный и никаких открытий дополнительных сделать не помогает :). Ещё могу порекомендовать "философскую" работу математика Хофштадтера "Гёдель, Эшер, Бах", там уже чуть абстрагированнее от биологии размышления о природе интеллекта и сознания, но как раз проводится аналогия с муравьиной колонией (показывается универсальность и обобщённость этой модели). Наверное, "твёрдым доказательством" могут выступать две эти книжки в совокупности - Хьюбела и Хофштадтера :).
UPD: вру, ещё вспомнил, что погружался в теорию доминант Ухтомского, она тоже, по сути, описывает вариант ACO, исполняемый альянсами нейронов (очагами возбуждения). Да что угодно будет напоминать ACO, это настолько тупая и общая модель, что невозможно не быть эквиалентным ACO абсолютно любому процессу оптимизации (потока сигналов с обратной связью) :).
napa3um
27.10.2021 14:57+1Мозг с биологическими нейронами - это не перцептроны Розенблатта, а, скорее, спайковые сети (для которых обратное распространение ошибки пока не формализовали, и вообще способ обучения). При этом отдельные нейроны объединяются в кортикальные колонки с более комплексным «базовым» поведением, именно они «коллективно обучаются» (накапливают статистику проходящих через них сигналов), а не отдельный нейрон (его деятельность в отрыве от колонки «нецелесообразна»).
Найти аналог любой математической модели оптимизации в мозгу, кажется, при желании не так сложно, ибо вся система (начиная от масштаба кортикальных колонок) показывает поведение, аналогичное «муравьиным» оптимизационным алгоритмам (ACO), которые, в свою очередь, при некоторой подвижности терминологии можно свести к любым другим вариантам оптимизации (в том числе к перцептрону с бэкпропогешном :3), в силу обобщённости самого ACO («решателя NP-полных задач»).
Видится, в общем, натягивание ужа на ежа, причём, бесполезное - оно не позволит ничего нового открыть или предсказать в устройстве «механизма обучения мозга», ибо сам формализм, который там «ищется» - уже заранее какбы максимально полон математически. Это ИМХО, допускаю, что не шарю в теме, хотелось бы увидеть комментарии от приближенных к нейробиологической теме и теме «непопулярных» моделей ИИ (спайковых сетей или ещё более «биологичных» моделей), насколько данная работа прорывная, какие ожидания от развития этих исследований могут быть? Какой вопрос о механизме обучения с обратным распространением ошибки ставится в этой работе? :)
phenik
28.10.2021 08:26+4Мозг с биологическими нейронами — это не перцептроны Розенблатта, а, скорее, спайковые сети (для которых обратное распространение ошибки пока не формализовали, и вообще способ обучения)
Совершенно верно, дополню взглядом с биофизической и когнитивной точек зрения. Эволюция решала не только задачу оптимизации вычислений, но и их энергоэффективности. Биологическая основа нейросетей мозга не могла позволить себе решения доступные технологически. И даже в технологических на определенном уровне их развития, процедура обратного распространения был разработаан давно, но реальные возможности ее применения сложились только лет десять назад, когда стали доступны аппаратные возможности доступные для решения практических задач. И уже сейчас проблема энергоэффективности применения глубокого обучения начинает чувствуется для ИНС. Вероятно со временем переход на импульсный режим неизбежен, с начало на специализированном железе, в перспективе реализованном в нейроморфных чипах.
Второй момент состоит в том, что современные ИНС позволяют находить статические решения. Модели которые они создают являются статическими аппроксиматорами, полученными с помощью процедур статистической оптимизации. В мозге внутренние модели объектов, особенно поведения, принципиально динамические. Это пока не достижимо в существующих схемах ИНС. Народ посмеиваются над «нейроном бабашки», но в действительности это только один из нейронов целой нейросети динамической модели бабушки. Эта модель в мозге, например, внучка постоянно активна, постоянно обучается, и влияет на его поведение, даже если бабушки не видно. Связь нейронов в этой модели в общем случае асинхронна, в отличии от синхронных ИНС. Биологические нейроны обладают способностью не только к пространственной, но и временной суммации, а сами нейроны моделировать целыми сетями (1, 2, 3, 4). В современных ИНС временная суммация, отвечающая за динамику, заменяется пространственной, и в них принципиально не может быть динамических пространственно-временных моделей, которые непрерывно обучаются, принимают решения, и управляют поведением. Как это гипотетически выглядит на практике в случае бабушки. Бабушка говорит внучку — «пойдешь играть на улицу, вернись к 10 часам». Внучек увлеченно играет с другими ребятишками, и вдруг, неожиданно, вспоминает, что ему пора домой, т.к. время близко к 10 часам, бросает игру и идет домой. Что происходит на самом деле) Ничего внучек не вспоминает, он увлеченно играет) нейросеть связанная с моделью его личности, поведения основная, обладает высоким приоритетом. Однако параллельно ей, в бэкграунде (на подсознательном уровне), независимо, функционирует нейросеть бабушки, и она может получать информацию об активности дитя, почти в таком же объеме, как сама сеть внучка. Она отслеживает время по биологическим часам и др. признакам, и когда оценка времени приближается к назначенным 10 ч. возбуждается) точнее резко возрастает активность определенных нейронов, которая передается в нейросеть ребенка, приводя ее в возбуждение) и вуа-ля… ребенок неожиданно вспоминает, что ему пора домой. Конечно, если приоритет бабушки в нейросети ребенка высок (это значит он ее любит, ну или боится), если не высок, то не вспоминает просьбу и продолжает играть, пока бабушка сама за ним не явится. В мозге множество таких динамических моделей разного уровня соответствия прототипу относящихся к бабушке, матери, отцу, родственникам, друзьям, игрушкам, телевизору, и тд, и тп., если говорить про ребенка. Все постоянно активны, конкурируют за внимание или кооперируются для решения поведенческих задач. Только так эволюция смогла решить задачу выживания видов моделирую окружающую среду в виде системы конкурирующих/кооперирующихся динамических моделей объектов и процессов в ней, важных с точки зрения выживания, путем предсказания их поведения.
Естественно, в биологических сетях нет точного аналога процедуры обратного распространения ошибки, и эти изыскания, как и пишите смахивают «на натягивание ужа на ежа», но полезны в поиске решения задачи действительных механизмов обучения в биологических сетях.
VDG
07.11.2021 09:05Бабушка распределённая. Фактически один её инстанс говорит это не внуку, а своей копии в другом носителе (многоагентном). И дело возможно не в приоритете, а в проработанности модели бабушки, насколько хорошо она «проросла» в другой носитель.
phenik
08.11.2021 05:27Бабушка распределённая.
Да, сети моделей не локализованные, отдельные нейроны могут быть связаны с разными моделями, так и просто кодировать разный функционал, есть исследования на эту тему. Это вариант оптимизации сетей, фактически их сжатие.Фактически один её инстанс говорит это не внуку, а своей копии в другом носителе (многоагентном).
Т.е. модель внука, содержит часть (подмодель) связанную с бабушкой, мамой, и тд, и модель бабушки передает информацию в эту часть. Конечно нужно разделять представление на уровне описания функциональных моделей и их реализации на уровне сетей.VDG
08.11.2021 08:29+1Нет, я не про нейроны и сети. Распределённая в том смысле, что модели бабушки той или иной степени точности существуют во множестве носителей: во внуке, в муже, в детях, в друзьях и знакомых и т.д.
Когда бабушка говорит «вернись к 10 часам», она это говорит не внуку, а своей модели/агенту внутри внука (как носителя моделей). Ну а дальше как вы и описали.phenik
08.11.2021 14:10Теперь понял, спасибо за уточнение.
Кстати, такое представление может объяснить телепатическую связь между родственниками) Их мозги строят очень точные модели друг друга, и поэтому они точно предсказывают поведение друг друга, роль также играет эмоциональная взаимосвязь. Обходится без взаимодействия между мозгами с помощью полей, и воспринимается как экстрасенсорное чудо. В этой статье описывается исследование синхронизации активности в мозге взаимодействующих испытуемых, а это случайные люди. Что говорить про родственников? В этой ветке небольшая дискуссия на эту тему.
kolkov
27.10.2021 15:33-1У Алексея Редозубова в циклеилекций Логика сознания на Хабре гораздо интереснее теория, которая использует комбинаторное пространство, а не "силу" взаимодействия нейронов. Эти ребята все же нейроны бабушки до сих пор изучают, как мне кажется...
VDG
07.11.2021 09:33Комбинаторная точка Редозубова ровно такой же «нейрон бабушки» по элементарной причине — нужно где-то хранить информацию о связях этой точки с элементами входного вектора. Перенос «бабушки» с нейрона на его синапс ничего принципиально не изменил.
pita40g
27.10.2021 15:33Ничего не понятно, особенно в какой классификатор собак и кошек они втыкают выходной слой в голове.
perfect_genius
29.10.2021 18:40+1биологические нейроны не могут просто остановить обработку внешнего мира и ждать, пока начнётся обратное распространение.
Сон?
Это привело бы к провалам в зрении или слухе.
А доказано, что их нет? Они не могут компенсироваться?
Bobovor
Спасибо за заголовок.