Мозг обладает великолепной способностью различать лица и другие сложные объекты. Вот уже несколько десятилетий учёные безрезультатно бьются над задачей и пытаются понять, как происходит такое распознавание — как кодируются и хранятся изображения в мозге. Согласно общепринятым представлениям, процесс распознавания (идентификации объектов) происходит в нижневисочной коре, то есть инферотемпоральной зоне головного мозга. Но до сих пор оставалось непонятным, какую роль в кодировании данных играют отдельные нейроны и какое количество нейронов, собственно, задействуется в процессе.
Двое биологов из Калифорнийского технологического университета опубликовали научную работу, которая во многом проливает свет на то, как работает головной мозг приматов, в том числе человека. Учёные считают, что расшифровали код, которым в мозге кодируется информация о лицах. Доказательством является то, что учёные смогли только по сигналу мозга восстанавливать (угадывать) лица, которые видит обезьяна (и, соответственно, человек).
Специалисты провели эксперимент с помощью магнитно-резонансной томографии, считывая сигналы нейронов в области коры головного мозга макак, которая отвечает за идентификацию объектов. Во время сканирования мозга подопытным макакам демонстрировали 2000 немного отличающихся лиц людей. Определяя различия в активности нейронов при визуальной обработке разных лиц, учёным удалось сделать предположения о том, каким образом кодируется сигнал. Судя по всему, система обработки визуальной информации макак очень похожа на человеческую. Согласно результатам исследования, для кодирования информации о лицах достаточно всего 205 (!) нейронов головного мозга (их назвали «лицевыми нейронами»).
Учёные научились предсказывать, какое лицо видит макака, считывая сигнал с 200 «лицевых нейронов» её мозга. Это доказывает, что они корректно определили шифр, которым кодируются характеристики лица в этих нейронах
У социальных приматов, таких как макака и человек, эволюция выработала специальный механизм для быстрого распознавания лиц, потому что от этого навыка зависит выживание животного в социальной группе — мы должны мгновенно отличать друзей от незнакомцев. Секундное промедление может стоить жизни, поэтому мозг научился решать эту задачу быстро и эффективно (то есть те, кто мог выполнять задачу быстро и эффективно — выжили).
Казалось бы, логично выделить по одному нейрону на каждое лицо, ведь в мозге действительно есть специфические нейроны, которые реагируют на конкретных людей (их называют клетками Дженнифер Энистон, потому что их открыли у пациента с эпилепсией, мозг которого именно таким уникальным образом реагировал на фотографии Дженнифер Энистон). Но нет, распознавание лиц в общем случае работает не так, потому что ему нужно обрабатывать в том числе лица, которые он никогда не видел раньше, и здесь тоже важна идентификация «свой-чужой».
У нас система распознавания лиц в мозге состоит из кластеров коры минимум по 10 тыс. нейронов. В каждом полушарии располагается шесть таких кластеров, они находятся около уха.
Как только в поле зрения человека попадается лицо другого человека, электрический сигнал немедленно активирует нейроны в этой области, он проходит через пять или шесть названных кластеров и обрабатывается в каждом из них, прежде чем достигнет «лицевых нейронов». Таким образом, в последних хранится только высокоуровневая обработанная информация о специфических характеристиках лица. И вот эти примерно 205 нейронов кодируют информацию о лицах невероятно простым и абстрактным образом.
Ключевая особенность кодирования информации о лицах в мозге — это сочетания габаритов лица и отдельных объектов на лице (межглазное расстояние и проч.). Всего мозг учитывает около 50 таких параметров при распознавании лиц. В таком «лицевом пространстве» умещается практически любое фактически допустимое количество лиц, так что спутать два лица мозг не может. По мнению учёных, для «лицевых нейронов» есть некое подобие шаблона — что-то вроде «среднего лица», и реакция нейрона на новое лицо является разницей каждой из 50-ти характеристик от этой «базы».
В процессе эксперимента учёные из Калифорнийского технологического университета смогли смоделировать лица, которые отличаются настолько минимально и конкретно, что разница в сигнале составляет всего один нейрон. То есть они смогли понять, какой нейрон отвечает за какую характеристику в распознавании лиц. Каждый «лицевой нейрон» считывает комбинированный вектор примерно шести таких параметров. Например, по одному из параметров лицо отличается от «базы» на пять пунктов, по другому параметру — на минус семь пунктов. Сигнал от 205 клеток вместе создаёт уникальный паттерн конкретного лица.
Изменение формы лица путём изменения 50-ти ключевых характеристик
Как уже было сказано, учёные научились идентифицировать, какие характеристики кодируются какими нейронами. Они смогли синтезировать лица, на которые не будут реагировать конкретные нейроны, и даже угадывать, какое лицо видит макака, просто по сигналу от «лицевых нейронов».
Эксперимент и выводы учёных нуждаются в повторении и проверке, но если они окажутся правдивыми, то мы сможем чуть лучше понять систему шифрования, которая используется в той сложной вычислительной системе, какой является мозг человека и других приматов. Это открытие может найти практическое применение в сфере робототехники и подсказать новые подходы в разработке систем машинного зрения.
«Взлом кода для распознавания лиц определённо будет иметь большое значение», — считает Брэд Дюшейн (Brad Duchaine), эксперт в области распознавания лиц из Университета Дартмута. Самое главное, что учёные получили знак, что распознавание изображений в мозге работает по чётким и понятным правилам. Ведь последние достижения в области нейросетей показали, что после обучения нейросети человек зачастую не может понять, на какие стимулы реагирует нейросеть — это своеобразный «чёрный ящик», который функционирует по непонятным правилам. Появились опасения, что человеческий мозг может представлять собой такую же непостижимую систему. К счастью, это оказалось не так.
Научная работа опубликована 1 июня 2017 года в журнале Cell (doi:10.1016/j.cell.2017.05.011), pdf.
Поделиться с друзьями
Firelander
Много писали на тему того, что нейросеть распознающую объекты можно «взломать», подсунув ей набор каких-то странных данных, которые она распознает как объект. Забавно, если окажется, человеческую нейросеть распознавания лиц тоже можно так «взломать».
roboq6
Вы случаем не это имеете в виду?
ru.wikipedia.org/wiki/Парейдолия
Ezhyg
Эм… вы никогда не не видели и не слышали про оптические иллюзии? О_о Эти «отказы мозга» и есть взлом.
roboq6
Вот пример хорошей иллюзии, кстати:
https://www.youtube.com/watch?v=A4QcyW-qTUg
На самом деле это просто статичная фигурка из бумаги, но создаётся впечатление что она поворачивает голову.
Ezhyg
У меня была такая, она на «год дракона» была популярна, а я просто людей пугал распечатав маленькую и большую (в 3 раза крупнее), маленькую оставил коллегам на предыдущем рабочем месте, а большую кому-то подарил :).
roboq6
И как люди реагировали?
Ezhyg
Реакции были разные. Заходит человек, разговаривает и двигается, а потом замечает, что-то необычное, как здоровая такая фигня на него смотрит и следит за ним :D.
roboq6
Не было таких которые начали думать что у них поехала крыша или что это проделки полтергейста?
Ezhyg
Было такое — «слушай, мне кажется или...» и в паре случаев, я уверен, можно было бы довести такой эксперимент до каких-то практических результатов… но, к сожалению, у них была возможность подойти ближе, рассмотреть и посмотреть со слишком большого угла :(.
bopoh13
Dmitry_4
Я вижу усатых безротых гусаров.
Ezhyg
А что сложного с глазами? Эта штука известна как минимум с античных времён, всего-то надо чтобы глаза смотрели прямо (ну и рисовать или фотографировать их чуть крупнее, для пущего эффекта).
Кстати, куча советских портретов именно так сделаны.
Можете нарисовать на листке бумаги глаза карандашом или ручкой (контур или эскиз) и будет тот же эффект
mat300
Капец! Мой моск хакнули!
Реально, очень мощная иллюзия, причем, несмотря на игру с объемностью, не зависящая от бинокулярного зрения.
lash05
Pinkerator
Вот сейчас обидно было! (хоть это и правда :))
fireSparrow
Слово primat обозначает «первый», при том не столько в значении «самый ранний», сколько в значении «занимающий первое место, доминирующий, преобладающий».
Поэтому не обидно, а даже наоборот.
DenimTornado
а от Хомо Эректус не обидно?
3aicheg
Хомо Импотентусам — обидно.
fireSparrow
Напомнило диалог из сериала «Друзья».
Джо: Росс, у меня вопрос по науке. Как ты думаешь — гомо сапиенс вымерли, потому что были гомосексуалистами?
Росс: Джо, гомо сапиенс — это люди.
Джо: Ну я же их не осуждаю.
DenimTornado
О как, и что не так?))
RigelNM
Не удивили, судя по тому как я запоминаю лица, там точно не более 200 работает.
kraidiky
А на скольки обезьянах проверяли? Смогли на другой обезьяне повторить?
Как-нибудь проверяли, что не задействовано ещё 20000 нейронов в которые электроды не попали?
А вообще конечно работа классная. И подтверждает мысль, что отдельные признаки кодируются не отдельными нейронами а ансамблями, и информация содержится в паттерне ансамбля.
taujavarob
Так что когда пишут о 205 нейронах — то это похоже просто модель, а не с такой точности обнаружено.
То есть они на основании ФМРТ где единицей есть воксель (в котором миллионы нейронов) сделали такую модель, в которой достаточно 205 нейронов для кодирования.
VDG Ну вот, такая у них модель вышла. А как там в реальности? — нет, пока это тёмный лес.
Aberro
Задействованы, разумеется, в статье сказано, что это «высокоуровневые нейроны», т.е. они получают уже предварительно обработанную информацию. Но важно не сколько нейронов задействовано во всём процессе обработки, а сколько минимум нейронов нужно прощупать, чтобы получить достаточно полное и точное представление информации. В данном случае явно видно, что эти двести нейронов дают весьма точную информацию.
igrig
Макакам. Людей. А что не Макак? Ведь
т.е. у макак, в теории, отсутствует тот самый петтерн и, как следствие — все люди на одно лицо должны быть, первые 1000 раз, как минимум (ну как азиаты для европейцев) или в этом и был весь цимес во время эксперимента?
Konachan700
Я тоже заметил это. Почему макака должна отличать людей в лицо, если морда макаки и лицо человека разные по конфигурации? Шаблон распознавания будет другой ведь, даже европеец китайцев плохо различает без тренировки, а тут макака должна определять человека… Там, наверное, срабатывал триггер «о, человек», плюс определялась базовая эмоция увиденного лица (агрессия, спокойствие, ...), а не детальное распознавание лиц.
Что-то тут не так. Или это грамотное освоение бюджетов под корчеватели, или ученый снова изнасиловал журналиста.
LynXzp
Ну да, для макак все люди были китайцами. И вместо 1000 нейронов на распознавание работало 205, остальные одно и то же выдавали. Шутка. А может и нет.
Mark0us
Наверное поэтому верхний и нижний ряд лиц отличаются. 4 колонку я вообще воспринимаю как разнополых. Обезьянки к людям привыкшие (в смысле различают они нас получше диких), но это и есть проявление кроссвидового опознания.
kudar
С другой стороны, для людей макаки на одно лицо, так что исследователи все равно не смогли бы проверить адекватность расшифровки данных.
gafaroff77
Да, стОит изучить методологию исследования. Но согласитесь, что результаты впечатляют. Каскад всё более формализированных описаний — это ж ООП, а? Только снизу доверху.
perfect_genius
На распознавание кто передо мной из близнецов у меня уходит секунда и более. А если это новые люди, то приходится усиленно учиться распознавать первое время. Значит, в древности я бы не выжил, если бы один из них собирался меня убить =)
Mobile1
Эти русские все на одно лицо...
VDG
Как-то всё фантастично. Единственная клетка следит за шестью параметрами, квантует каждый по уровню сигнала, хранит на каждый параметр среднее значение, постоянно перерассчитывает его, получает квантованное отклонение от сравнения с входным сигналом, и т.д. Слишком много всего для одной клетки. Даже для одной колонки много. Кстати, не сказано, какой тип этих нейронов и в каком слое они сидят.
sergku1213
Это ж какие перспективы появляются в сжатии видеоинформации! 200Бит на описание лица! По этому механизму кодирование информации будет с огромным сжатием. Правда и с некоторыми заморочками, но может так будет даже лучше… моя Дженифер Энистон будет слегка отличаться от Вашей. Ну я так вижу и тем доволен!
daiver19
Как можно закодировать, например, расстояние между глаз одним битом?
Deymos
Нейрон не равнозначен биту, он очень сложен и работает аналоговыми сигналами.
AlexeyR
Описанное очень хорошо соответствует моим представлениям о роли миниколонок https://habrahabr.ru/post/310214/
trapwalker
Скорее бы в обиход вошли нейросетевые ускорители наравне с графическими. Эдакий ПЛИС, в который заливаются (как шейдеры и текстуры) структуры уже обученных нейросетей.
Забавно, что в среднем эта технология еще сильнее понизит уровень понимания человеком того, что происходит в компьютере, но человечество уже давно движется в этом направлении и не видно этой тенденции ни конца ни края.
Не разделяю, кстати, обеспокоенности Маска по поводу сингулярности и сильного ИИ. Если сверхразум не окажется вдруг сверхпринципиально дотошным педантом с «дихлофосом», то, я уверен, эволюция отведёт нашим потомкам свою экологическую нишу в бурлящей среде вселенной. Я, вот, считаю себя довольно неглупым относительно насекомых существом, но, черт дери этих муравьёв на огороде — они наступают!
Надеюсь мой тонкий иронический сарказм на границе смыслов не будет воспринят негативно даже в случае неверного истолкования аудиторией.
ubx7b8
Вот у меня для кодирования лиц макак используется вообще 1 нейрон!… Э! Куда вы меня тащите!!!111
juryev
Как же достали эти заявления в каждой статье по любому поводу про «эволюция дала», «эволюция наделила», «эволюция забрала» и т.п. Это заклинание напоминает мне начало любой советской книжки, там обязательно пишется «Решением XXV Съезда КПСС...», а дальше — про химические процессы в фанерном клее.
Главное, смысла ни то, ни другое заклинание не имеет, потому что фраза в этой статье «У социальных приматов, таких как макака и человек, эволюция выработала специальный механизм для быстрого распознавания лиц, потому что от этого навыка зависит выживание животного в социальной группе — мы должны мгновенно отличать друзей от незнакомцев» не несёт вообще никакого смысла. Любое живое существо должно мгновенно отличать друзей от незнакомцев, иначе сожрут. Пчёлы, муравьи, акулы, макаки и слоны, — всем надо как-то отличать своих от чужих.
Rikkitik
Эволюция — это логичный и понятный процесс. Живому существу бывает выгодно отличать своих от чужих, при этом есть тысяча градаций этой способности отличать, и потомство с большей вероятностью дадут особи, которые находятся на небольшом отрезке этой шкалы: неумных едят, слишком продвинутым нужно многовато ресурсов. Так что ваше «любое существо мгновенно должно» в корне неверно. В итоге, со временем интервал разброса постепенно сужается, всё лучше соответствуя оптимуму. И нынешнее состояние, при котором многие существа достаточно быстро и качественно различают некоторых других существ — это и есть результат эволюции. При этом механизмы различения, качество и скорость, а так же ширина интервала оптимума у каждого вида свои.
juryev
Как упоминание о том, что это — «результат эволюции» влияет на информацию, изложенную в статье. Добавляет ли что-то эта фраза? Абсолютно ничего. Результат это эволюции или решение партсъезда, — к статье это не имеет никакого отношения, потому что речь не про палеонтологию и не про процессы развития организмов. Речь в статье о констатации определённого факта о состоянии нейронов сейчас. Кстати, если уж на то пошло, то само исследование вызывает вопросы с точки зрения сбалансированности выборок, т.к. известно, что цветовосприятие у разных людей, а возможно, и у обезьян, — разное, причём разница по цветоразличению может составлять миллионы раз.
Так что у меня претензии по поводу пустословия, которым обильно снабжаются статьи в наше время.
VDG
Любое животное должно распознавать опасность. Любая птица для жука опасна. Но с социальными животными всё усложняется так как другой соплеменник тоже может быть угрозой. Поэтому у социальных животных эволюция выработала специальный механизм для быстрого распознавания соплеменников. Не социальным он не нужен, и его у них нет. В этом смысл выделенной вами фразы.
juryev
OK, давайте тогда поставим вопрос так. Вот есть утверждение о факте: «эволюция наделила таким-то механизмом для таких-то целей». Как утверждаете Вы, это утверждение имеет смысл, оно вставлено в статью осознанно, значит мы должны применять к этой фразе все требования, которые применяются к любому научному исследованию. Почему же авторы скрыли информацию о своих исследованиях в этой области? Где проверка этой гипотезы по критериям Стьюдента? Где выкладки о проверках других гипотез? Где, наконец, сравнение этой гипотезы против гипотезы о том, что эволюция забабахала наши гены таким образом, чтобы мы могли отличать бублик от баранки? Где это всё? Я вот утверждаю, что последняя версия точнее, опровергните меня: «У социальных приматов, таких как макака и человек, эволюция выработала специальный механизм для быстрого распознавания всего вокруг, потому что от этого навыка зависит выживание животного в социальной группе — мы должны мгновенно отличать разные виды пищи друг от друга».
odissey_nemo
Видимо, это социальная норма поведения, обусловленная и поддержанная естественным отбором. При социализме упор на общественные институты. при капитализме — на рекламу личных достижений (ПиаР) в предвидении лишних заработков.
У Вас лично — зоологически внедрённый через СМдезИ РФ (если Вы молоды) или «Радио Свободы» (если успели пожить при СССР) антисоветизм. У меня — коммунистические убеждения, укрепляющиеся с каждым днём, проведённым в паразитическом капитализме в РФ. И всем этим заведуют незаметные глазу нейроны в мозгах масс и персонажей.
Как то странно осознавать себя, как биологическую модель автономной системы, связанной с миллиардами прочих особей и остальных объектов биологической и абиотической природы в единую глобальную систему, управляемую пока ещё неведомыми нам закономерностями.
Find_the_truth
Зная механизм кодирования, зная место, где хранятся данные, можно внести данные совсем другого лица в мозг человека, заставив его тем самым думать, что тот, кого он видит перед собой, и есть тот, о ком он думает? Подмена лиц в мозге? Вот это поворот. Грубо говоря. В мозге у меня человек А ассоциирован с данными А. Если мы подменим изображение человека А в моем мозге (его фото профиля, грубо говоря), то я буду думать, что человек А и есть тот, изображение которого мне подсунули?
Piter_Y
Для того, что бы в дело вступили эти 200 дешифрующих нейронов, изображение лица обрабатывалось не одной их тысячей, для того, что бы разбить его на кусочки пригодные для декодирования.