В самых общих словах машинное обучение (machine learning, ML) — это обучение компьютера самостоятельно решать поставленную перед ним задачу. Вообще-то обучать свою «разностную машину» планировал еще Бэббидж, проектируя ее на базе своей «аналитической машины», но это потом назвали программированием. 

А в нынешнем определении машинного обучение так или иначе присутствует искусственный интеллект (ИИ). Мол, это обучение компьютера решать поставленные перед ними задачи «без явного программирования», как это сформулировано в самых острожных из современных определений машинного обучения, используя данный ему человеком ИИ и, опять-таки самостоятельно совершенствуя его, умнеть еще больше. То есть выходит, что машинное обучение это обращение к разуму компьютера, пусть искусственному, машинному, но разуму, аналогичному нашему в вами. Именно поэтому хронологию машинного обучения современные IT-историки начинают с 1943, когда в журнале Bulletin of Mathematical Biophysics была опубликована статья «A Logical Calculus of the Ideas Immanent in Nervous Activity» Уоррена Маккалока и Уолтера Питтса.

Дословный перевод заголовка их статьи на русский язык «Логическое исчисление идей, имманентных нервной деятельности» мало что скажет простому человеку о ее сути. Более адекватен в данном случае вольный перевод, например такой: «Логика математического моделирования активности нейронов». Маккалок был нейрофизиологом, доктором медицины, профессором психиатрии Иллинойского университета и директором Иллинойского нейропсихиатрического института, новенькой, только что построенной в Чикаго государственной психиатрической клиники. Питтс был сотрудником его университетской кафедры без степени и вообще без университетского диплома, зато с подростковых лет со способностями вундеркинда в математике.

Идея статьи принадлежала Питтсу. Годом раньше он уже опубликовал в том же «Bulletin of Mathematical Biophysics» статью «Некоторые наблюдения над простой нейронной цепью», каковая, по его словам, была «пролегоменами и иллюстрацией более общей теории нейронных сетей». В ней Питтс сформулировал, как он считал, «две важные леммы, первая из которых будет необходима для нашей более общей теории, а вторая является частным случаем результата, который позже будет установлен для общих сетей». Кантианскую терминологию (пролегомены — это по-простому предварительная версия) можно простить Питтсу, все-таки вундеркинд! Помимо чистой математики Канта он знал про «алфавит человеческой мысли» Лейбница и его преломлении в 1920-е годы в «Principia Mathematica» Рассела и Уайтхеда, и даже в 15 лет сбежал из дома, чтобы послушать лекции Рассела в Чикаго, а в 18 лет отрецензировал книгу профессора философии Чикагского университета Рудольфа Карнапа «Логический синтаксис языка», и потом несколько месяцев учился у Карнапа принципам формализации научных теорий в универсальной символике «языка II Карнапа» и прочей зауми.

Сам ли Питтс в 17 лет напросился в помощники профессору кафедры психиатрии Маккалоку, или Маккалок взял под опеку Питтса для обучения его природного интеллекта математика премудростям математической логики, мы никогда не узнаем. Известно лишь то, что их познакомил студент Маккалока Джером Леттвин, с которым Питтс в том же 1943 году и в том же Bulletin of Mathematical Biophysics опубликовал статью «Математическая теория аффективных психозов». За это исследование Леттвин получил степень бакалавра медицины и в дальнейшем стал профессором биоинженерии в Массачусетском технологическом институте (MIT). А Питтс убедился, что конкретное расстройство рассудка укладывается в череду математических формул с двумя переменными. Статья, кстати, любопытная даже для неспециалиста, интересно просто посмотреть, как выглядят уравнения глубокой депрессии и маниакального взрыва эмоций.

Намного сложнее априори выглядела задача построить математическую модель разума (интеллекта). Наука о разуме со времен Платона и Аристотеля строилась на логике, где фундаментальными понятиями были «истина» или «ложь» (то есть бинарная логика, каковая лежала в основе архитектуры гипотетического компьютера Тьюринга и реальных компьютеров архитектуры фон Неймана). А добавление к двоичному коду «истины» и «ложности» третьего понятия — «ни то, ни другое» (вариант «то и другое сразу») не может не вызвать сейчас ассоциации с суперпозицией в кубите, базовой единица информации в квантовом компьютере. 

Но эти ассоциации приходят на ум задним числом, когда про компьютеры все всё знают, а первые попытки формализовать логику разума, начиная с «алфавита человеческой мысли» Лейбница (XVII век) и кончая символикой «языка II Карнапа» (1938), действительно могут показаться обычному человеку, не специалисту по когнитивистике, заумью. Хотя внешне символика языка II Карнапа, усовершенствованной разновидностью которого пользовались Маккалок и Питтс в своей статье, хоть и отдаленно, но внешне напоминает символику нынешних языков программирования.

Так что итогом переосмысленной Питтсом философской «зауми» стала его с Маккалоком статья, где «имманентность» (внутреннее свойство) нейрона аксиоматически была принята как его нахождение в данный момент в одном из двух состояний «включено — выключено» (в логике — «истина» или «ложь») и построена математическая модель нейронной сети из бинарных нейронов, работающих в бинарной логике. То есть их простой, формализованный нейрон мог находиться в одном из двух состояний — активированном (1) или неактивированном (0) в зависимости от входных данных и заданного порога реагирования. По своей сути это была математическая абстракция нейрона, линейная пороговая функция, которую потом назовут нейроном Маккалока-Питтса (MCP), эталонным искусственным нейроном в науке об искусственных нейронных сетях.

За восемьдесят с лишним лет опубликованы сотни статей и монографий IT-историков с подробным анализом их модели нейронной сети, выбирай не хочу, как говорится. Но лучше заглянуть в первоисточник — саму статью Маккалока и Питтса. Даже неподготовленный читатель, не вникая в их формулы, может увидеть там довольно интересные вещи. Например, они пишут, что «каждая сеть, если она снабжена магнитной лентой, сканерами, подключенными к афферентам («входным» нейронам, передающим данные от органов чувств в ЦНС — Ред..) и подходящими эфферентами («выходными» нейронами, передающими команду от ЦНС к органам — Ред.) для выполнения необходимых двигательных операций, может вычислять только те числа, которые могут быть вычислены машиной Тьюринга…». 

Сейчас, когда мы знаем реальную историю машинного обучения, можно поверить в пророчество Маккалоком и Питтсом машинного ИИ. В то, что, доведя свою модель нейронной сети до «конечных психических единиц, или “психонов”, единиц активности отдельного нейрона по принципу “все или ничего”», следующим шагом они собирались, ввести ее с магнитной ленты в тоже в пока гипотетическую машину Тьюринга и научить ее если не мыслить, то хотя бы реагировать на диалог с ней по-человечески. Но, конечно же, это было не так, а точнее по крайней мере в самом начале было ровно наоборот. 

«Психиатр может утешиться очевидным выводом о причинно-следственной связи — что для прогнозирования не требуется история болезни, — пишут Маккалок и Питтс. — Он мало что может извлечь из столь же обоснованного вывода о том, что наблюдаемые им явления объяснимы только в терминах нервной деятельности, которая до недавнего времени была за пределами его понимания. Суть этого невежества заключается в том, что вывод из любого образца явного поведения для нервных сетей не уникален, тогда как из всех мыслимых сетей на самом деле существует только одна, которая в любой момент может проявить некоторую непредсказуемую активность…  В итоге этой “непредсказуемой” активности возникают шум, парестезии, галлюцинации, бред, замешательство и дезориентация».  

«Конечно, для психиатра важнее то, что в таких системах “разум” больше не “становится призрачнее призрака”, — продолжают они. — Больную психику можно понять без потери масштабности или строгости в научных терминах нейрофизиологии. Для неврологии теория обостряет различие между сетями, необходимыми или просто достаточными для данной деятельности, и, таким образом, проясняет связь нарушенной структуры с нарушенной функцией». 

Несложно догадаться, что Маккалок и Питтс нацеливались на математическое моделирование психических расстройств, что, собственно, подтверждает статья Питтса и Леттвина «Математическая теория аффективных психозов» с формулами психоза, опубликованная в том же 1943 году. Впереди вырисовывалась очередь из «аксиомы сумасшествия», формул других психоневрологических расстройств помимо эмоционального психоза, «теорема шизофрении» и т.д. Для решения этих задач им пригодилась бы машина Тьюринга или любой другой мощный калькулятор, но учить машину Тьюринга уму-разуму они пока не собирались, ее они привели для примера того, как работает бинарный механизм исчисления в условной модели человеческой нейронной сети. 

Не следует также забывать, что Тьюринг выступил с лекцией «Мыслящие машины» («Intelligent Machinery») в 1948 году, а тест на разум машин предложил в 1950 году. Да и программируемых электронных компьютеров, реализующих идею Тьюринга, в 1943 году не существовало в природе, разве что был один по современным меркам слабенький программируемый электромеханический мейнфрейм у Конрада Цузе в Германии, но о нем во «вражеских» странах мало что знали.

В теоретической нейробиологии открытие Маккалока-Питтса было знаковым событием, получившим дальнейшее развитие. В 1949 году профессор психологии Дональд Хебб из Университета Макгилла в Монреале предложил вместо одиночного нейрона MCP использовать в качестве вычислительной единицы «cell-assemblies», то есть группы нейронов, сила синаптической связи между которыми увеличивается по мере синхронизации их активности. По сути, его «нейронные ансамбли» были синонимом «энграммы», как в XIX веке психологи назвали «единицу когнитивной информации, запечатленную в физической субстанции». Так что математическое моделирование мыслительных процессов в природных нейросетях после работ Маккалока с Питтсом и Хебба пошло по своей траектории, параллельной траектории строительства искусственных нейросетей.

Но сделанное как бы вскользь замечание Маккалока и Питтса насчет того, что в их математической модели человеческого мозга фигурируют «те же числа, которые могут быть вычислены машиной Тьюринга», сильно заинтересовало не только нейрофизиологов и психологов, но и инженеров-конструкторов реальных электронных вычислительных машин, первые из которых в 1943 году находились либо на последних стадиях проектирования, либо в начальных стадиях сборки. Ведь когнитивную единицу информации Хебба теоретически можно было «запечатлеть в субстанции» электронных ламп.

Новый друг Питтса, уже бакалавр медицины Джером Леттвин, познакомил его с Норбертом Винером, после чего в том же 1943 году Питтс оказался аспирантом Винера на физическом факультете MIT и задержался там до 1952 года, правда, так и не защитив диссертацию. Зато Винер в 1948 году опубликовал манифест кибернетики — книгу «Кибернетика, и или Контроль и коммуникация у животных и машин», где среди прочего, сравнивая аналоговые и цифровые компьютеры, писал, что цифровые машины по всем параметрам предпочтительнее и проводил параллели между двоичными цифровыми компьютерами и нейросетями в организмах. 

В 1944 году появился Harvard Mark I, второй после Z3 Цузе программируемый мейнфрейм, а в 1945 году был готов к работе электронный ЕNIАС. Пришло время не гипотетических, а реальных компьютеров, которые прежде всего надо было научить не умничать и проявлять инициативу, а максимально точно и быстро выполнять поставленные перед ними задачи, то есть программировать их. Но стремление создать нечто большее, чем суперарифмометр, никуда не пропало. 

Следующей вехой в истории машинного обучения стал SNARC — Stochastic Neural Analog Reinforcement Calculator («Нейронный аналоговый калькулятор, основанный на вероятностной модели подкрепления»), построенный аспирантом Принстонского университета Марвином Минским вместе с таким же как он аспирантом Дином Эдмондсом. Правда, для этого им пришлось вернуться из Принстона в альма-матер — Гарвардский университет, где в отличие от Принстона вузовское начальство сумело пролоббировать им грант от военных в 2 тысячи долларов и списанный автопилот от бомбардировщика.

Выпускник Гарварда 1950 года Минский был в родном университете популярной личностью. Трудно было забыть, как он развлекал студентов и профессоров физического факультета своим вариантом опыта Гальвани с «животным электричеством», иннервируя импульсами тока клешню пресноводного омара. Рак хватал клешней лежавший рядом карандаш и размахивал им почище, чем Тициан кистью, а потом по команде Минского бросал его и, как полагается ракам, пятился задом, словно разочаровавшись в искусстве живописи. Потом Марвин Минский сконструировал одну из первых в мире механических рук с тактильными сенсорами, внеся свой вклад в роботехнику. 

Что же касается нейронного калькулятора Минского-Эдмондса, то и здесь присутствовали животные, в данном случае крысы, точнее модель мозга метафорической крысы, искавшей выход из лабиринта, из трехсот вакуумных ламп с 40 узлами (синапсами Хебба), каждый из шестиламповой «ассамблеи». Каждый из узлов этой нейронной сети подпитывался конденсатором. После того, как только в систему подавался первый сигнал, конденсаторы пропустивших его «синапсов» оставались заряженными, но могли удерживать этот заряд только в течение какого-то периода времени. После этого в сеть подавался второй сигнал, служащий «подкреплением», который изменял положение потенциометров «возбужденных» синапсов. Это, в свою очередь, увеличивало вероятность того, что в будущем, после разрядки конденсаторов, повторный электрический сигнал пройдет по тому же пути. 

Как выражались в те годы нейрофизиологи и бихевиористы, это было использование оперантного обусловливания для закрепления поведения. Но как бы они это ни называли, по своей сути это было обучение электронной машины, точнее ее искусственного нейронного мозга условному рефлексу по Павлову. Открытие, которое по-хорошему вполне заслуживало Нобелевской премии. Минский попытался поговорить с профессором психологии Гарварда Фредериком Скиннером, который считался отцом оперантного обусловливания, но тому его аспирантские опыты были не интересны. А в Принстоне, куда Марвин Минский вернулся защитить свою диссертацию по математике, вообще усомнились, относится ли тема его диссертации к математике. Понадобилось заступничество фон Неймана, который был одним из членов ученого совета Принстона. Нейман, по воспоминаниям Минского, тогда сказал: «Если это не так сейчас, то когда-нибудь так и будет, так что давайте поддержим».

В итоге Марвин Минский защитил в 1954 году докторскую диссертацию на тему «Нейронные сети и проблема моделирования мозга». К сожалению, почитать ее оригинал проблематично, она не публиковалась, а в ее пересказах IT-историками часто можно встретить добавление о том, что «Минский был убежден, что для создания достаточно большой нейронной сети с достаточным количеством циклов памяти, чтобы действительно мыслить, потребовались бы тысячи или миллионы нейронов. Он знал, что не сможет создать такую большую сеть, и искал другие способы заставить машины думать». Дин Эдмондс, на которого гарвардская машина была проходным моментом в его научной карьере, впоследствии стал профессором физики в Бостонском университете. К сожалению, SNARC не сохранился, его разобрали на запчасти студенты Гарварда для своих целей. Остались только старые фотографии и сделанные много лет спустя для IT-музеев модели его рабочей части.

На этом первая попытка машинного обучения с помощью нейросети закончилась, чтобы продолжиться тридцать лет спустя уже следующим поколением математиков, физиков и нейробиологов. И Нобелевскую премию за это все-таки дали. В 2024 году. За фундаментальные открытия и изобретения, обеспечивающие машинное обучение с помощью искусственных нейронных сетей. А если подробнее, то за «разработки и открытия лауреатов, сделанные ими еще в 1980-е годы, которые стали основой для бурного развития технологий искусственного интеллекта (ИИ) в 2010-е годы».