В одной из предыдущих статей я уже упоминал нобелевского лауреата по физике 2024 года Джеффри Хинтона (праправнук Джорджа Буля). Вторым лауреатом стал Джон Хопфилд. Сеть Хопфилда — это одна из форм полносвязных рекуррентных нейронных сетей. Одной из ключевых особенностей таких сетей является их способность восстанавливать полные шаблоны из частичных или зашумленных входных данных, что делает их устойчивыми к неполным или поврежденным данным.

Джеффри Хинтон создал вариант сети Хопфилда, которая в качестве основы использует машину Больцмана. Оба учёных проводили свои работы с искусственными нейронными сетями с 1980-х годов. Основным фундаментом исследований стала технология, имитирующая нейронные цепи в мозге. Однако вот ведь незадача: работы подобного характера появились намного раньше, что по меньшей мере вызывает недоумение. Несколько японских учёных внесли не менее значительный вклад в развитие этих технологий и могли бы также получить эту награду.

Кунихико Фукусима, работавший в научно-исследовательском институте технологий радиовещания NHK, и Шуничи Амари, почётный профессор Токийского университета, ранее добились новаторских результатов, которые привели к исследованию Хинтона и Хопфилда, отмеченному Нобелевским комитетом.

Так кто же эти самураи исследований в области искусственного интеллекта?

Шуничи Амари

В 1967 году профессор Шуничи Амари предложил метод адаптивной классификации образов, который позволяет нейронным сетям самостоятельно корректировать способ классификации образов посредством воздействия повторяющихся обучающих примеров.

Исследования Амари предвосхитили аналогичный метод, известный как «метод обратного распространения ошибки», один из ключевых вкладов Джеффри Хинтона в эту область. 

Обратное распространение — это метод машинного обучения, необходимый для оптимизации искусственных нейронных сетей. Он облегчает использование алгоритмов градиентного спуска для обновления весов сети в моделях глубокого обучения. Логика обратного распространения заключается в том, что слои нейронов в искусственных нейронных сетях, по сути, представляют собой серию вложенных математических функций. Во время обучения в эти взаимосвязанные уравнения вкладывают ещё одну функцию — «функцию потерь», которая измеряет разницу между желаемым выходом для заданного входа и фактическим выходом нейронной сети.

Говоря математическим языком, обратное распространение работает в обратном направлении от выходных данных для эффективного вычисления «градиента» функции потерь. Этот градиент сообщает алгоритмам оптимизации, таким как «градиентный спуск», какие уравнения следует корректировать и в каком направлении, чтобы уменьшить потери.

В общем случае обучение нейронных сетей с помощью обратного распространения ошибки включает в себя следующие шаги:

• прямой проход, при котором составляются прогнозы на основе данных обучения,

• измерение функции потерь для оценки ошибки предсказаний модели во время прямого прохода,

• обратный проход для вычисления частных производных функции потерь,

• градиентный спуск для обновления весов модели.

Румельхарт, Хинтон и Уильямс впервые опубликовали развёрнутый формальный алгоритм обучения только в 1986 году. Однако намного раньше Хинтона и компании, ещё в 1972 году Амари уже описал алгоритм обучения, который был математически эквивалентен предложенному в более поздней статье Хопфилда 1982 года. Именно эта работа упоминается в Нобелевской премии (об ассоциативной памяти, которая позволяла нейронным сетям распознавать закономерности, несмотря на частичные или искажённые входные данные).

Кунихико Фукусима

Другой японский профессор, Кунихико Фукусима, с 1970-х по начало 1980-х годов проводил исследования, которые продемонстрировали полезность визуального распознавания образов с использованием свёрточных нейронных сетей. В 1979 году он создал первую в мире многослойную свёрточную нейронную сеть. Она получила название «неокогнитрон». После завершения самоорганизации сеть обладает структурой, похожей на иерархическую модель зрительной нервной системы. Подобную модель в 1979 году предложили Хьюбел и Визель и также получили за неё Нобелевскую премию в 1981 году.

Сеть, разработанная Фукусимой, состоит из входного слоя, за которым следует каскадное соединение ряда модульных структур, каждая из которых состоит из двух слоёв клеток, соединённых каскадом.

Немного отступая от темы, теория зрительной коры мозга была опровергнута коллективом учёных в 2019 году. Тогда провели открытое, масштабное физиологическое исследование активности в бодрствующей зрительной коре мыши с помощью набора данных визуального кодирования Allen Brain Observatory. Этот общедоступный набор данных включает в себя корковую активность почти 60 000 нейронов из шести зрительных областей, четырёх слоев и 12 трансгенных линий в общей сложности 243 взрослых мышей в ответ на систематический набор зрительных стимулов.

Итак, вернёмся к одному из наших самураев. Весной 2021 года институт Франклина вручил Кунихико Фукусиме премию Боуэра за достижения в науке. Ранее подобные премии вручались  Стивену Хокингу, Альберту Эйнштейну, Максу Планку, Томасу Эдисону и многим другим видным учёным. По мнению комитета по присуждению премии, имя Фукусимы достойно того, чтобы быть добавленным в этот пантеон. Именно ему принадлежит заслуга в «изобретении первой глубокой свёрточной нейронной сети» в 1979 году. Это достижение стало возможным благодаря применению «принципов нейронауки в инженерии».

Применение глубоких свёрточных нейронных сетей (DCNN) к задачам компьютерного зрения радикально расширило возможности алгоритмов распознавания и классификации изображений. Их точность увеличилась с примерно 50% до более чем 95%. С тех пор DCNN стали повсеместными, встроенными в социотехническую ткань нашей повседневной жизни. Действительно, до генеративного взрыва ИИ, который начался с ChatGPT, компьютерное зрение было в центре обсуждения бума глубокого обучения, включая резкую критику его алгоритмической предвзятости.

Двойное обращение института Франклина к «нейронауке и инженерии» в концептуальном центре DCNN изначально предполагает, что мы могли бы легко вписать вклад Фукусимы 1979 года в известное повествование об американской кибернетике холодной войны (подробней можно прочесть, например здесь).

Как показали исследования в области истории науки и медиа, кибернетическое стремление к машинной пересборке человеческих когнитивных способностей открыло новую форму власти («обучающиеся машины», как их называл Норберт Винер). Такая форма фундаментальна для современных форм управления, в которой большие данные собираются и обрабатываются сетевыми системами саморегулирующихся интеллектуальных технологий.

За этим стояли концептуальная логика и оборонительная инфраструктура финансирования холодной войны. Подробные исторические исследования показывают, что до 1990-х годов работы в области машинного обучения, ориентированного на данные в США, существовали на периферии основных академических работ по ИИ. Они не пользовались большим престижем и обычно полагались на финансирование со стороны военных и разведки. Алгоритмы распознавания и классификации изображений, а также системы машинного перевода были ярким примером этой тенденции.

Однако история Кунихико Фукусимы вносит некоторые изъяны в этот американоцентричный нарратив. Фукусима, безусловно, был настроен на контекст исследований кибернетики времён холодной войны, в частности, на проект «персептрона» Фрэнка Розенблатта, спонсируемый Министерством обороны. В то же время именно из-за союза со штатами в годы холодной войны, Япония выделяла пропорционально меньше средств на прямую оборону в бюджете, акцентировав своё внимание на других отраслях.

Одной из них была сфера медиатехнологий (манга, анимэ и всё остальное берут свои корни именно здесь). Именно в это время в 1970-х годах Фукусима добился своих самых больших результатов. Это говорит о том, что для того, чтобы понять глобальное развитие исследований ИИ, места и институты, которые способствовали его развитию, а также потребности и желания, на которые оно было настроено, нужно рассматривать все структуры технонауки. На самом деле они не так легко вписываются в модель передачи технологий от военных к гражданским.

Благодаря истории Кунихико Фукусимы обнаруживается ещё одно место, из которого возникло современное компьютерное зрение — вещательное телевидение и сопутствующие ему телевизионные технологии.

Фукусима был исследователем в NHK, японской общественной вещательной компании. Она была создана в 1926 году по образцу BBC. Большую часть этого времени профессор работал в научном подразделении визуальной и слуховой информации (VAISU) научно-исследовательской лаборатории вещательных наук NHK (BSRL). VAISU рассматривала телевизионные технологии как жизненно важную ступеньку к более широким исследованиям в области «бионики».

Отношения между студией и лабораторией основывались на центральной роли самих телевизионных устройств как экспериментальных инструментов. Исследования компьютерного зрения требовали массового захвата и преобразования изображений реального мира в электронные сигналы для обработки. Также требовались новые способы визуализации физио-психологического процесса человеческих актов «видения».

Телевизионные камеры обеспечивали эту связь, выступая в качестве средства для сканирования и кодирования изображений в виде цифровых данных для обработки на компьютерах и получения визуальных данных о поведении человека в реальном времени. Таким образом, телевизионная технология функционировала как обеспечивающий аппарат для машинного моделирования человеческого зрения.

Центральной для кибернетического проекта в целом была предпосылка, что нервная система человека, а следовательно, и её способности восприятия и познания, могут быть поняты в вычислительных терминах. Именно во время работы в NHK Фукусима и разработал «неокогнитрон» — систему распознавания визуальных образов, которая стала основой для современных свёрточных нейронных сетей.

Тем не менее он считал, что его работа посвящена пониманию именно биологических организмов, а не искусственному интеллекту в строгом смысле. Нейронные сети были задуманы как симуляции обработки визуальной информации могут работать в мозге. Считалось, что они помогут продвинуть физиологические исследования. Неокогнитрон специально был нацелен на урегулирование споров о том, соответствуют ли сложные сенсорные стимулы активации одного конкретного нейрона в мозге или шаблону активации, распределённому по популяции нейронов.

Инженер Такаюки Ито, работавший с профессором, охарактеризовал подход своего наставника как «гуманитарную науку». Но в 1960-х годах американские исследователи отказались от искусственных нейронных сетей, основанных на человеческих моделях. Их больше волновало применение статистических методов к большим наборам данных, а не терпеливое изучение сложностей мозга. Таким образом, имитация человеческого познания стала просто случайной метафорой.

Когда профессор Фукусима посетил США в 1968 году, он встретил мало исследователей, симпатизирующих его подходу к ИИ, ориентированному на человеческий мозг, и многие ошибочно приняли его работу за «медицинскую инженерию». В дальнейшем отсутствие интереса к масштабированию неокогнитрона с помощью более масштабных наборов данных в конечном итоге привело к тому, что он оказался в противоречии с растущим спросом NHK на прикладные технологии на основе ИИ. В результате чего он был вынужден уволиться в 1988 году.

Для Фукусимы разработка нейронных сетей никогда не была связана с их практическим использованием в обществе, например, для замены человеческого труда и принятия решений. Скорее, они были попыткой понять, что сделало продвинутых обезьян уникальными, и таким образом сделать инженерию более человечной.

Сегодня учёный держит определённую дистанцию с машинным обучением. По его мнению исследователи ИИ пошли коротким путём, и чем дальше основные исследования ИИ отходят от человеческого мозга, тем больше они создают технологий, которые трудно понять и контролировать. Лишённые своих корней в биологических процессах, мы больше не можем объяснить, почему работает ИИ и как он принимает решения. Сегодня эта проблема известна как проблема «чёрного ящика».

Исследования многих учёных (причём не только тех, о которых я упоминаю, были и другие) очень тесно пересекались между собой, а некоторые из них были проведены раньше и практически полностью соответствовали тем, за которые была вручена вышеупомянутая премия, и вопрос её присуждения в 2024 году довольно интересный. В разных сообществах, занимающихся вопросами искусственного интеллекта, нет однозначной позиции по этому событию. 

Почему это важно? Ответ кроется в рисках исторической однобокости. Современное стандартное описание искусственных нейронных сетей — это североатлантическая (и в подавляющем большинстве североамериканская) история. Исследования в области ИИ пережили период быстрого развития в 1950-х и 1960-х годах. К 1970 году наступила так называемая «зима искусственного интеллекта», во время которой исследования в штатах застопорились из-за отсутствия финансирования. Именно во время этой «зимы» исследователи из других стран заложили фундаментальные основы глубокого обучения, и интеграция этих разработок в историю ИИ имеет важное значение, поскольку общество с каждым днём всё чаще сталкивается с производными этой преобразующей технологии.

НЛО прилетело и оставило здесь промокод для читателей нашего блога:
— 15% на заказ любого VDS (кроме тарифа Прогрев) — HABRFIRSTVDS.