Отец искусственного интеллекта размышляет о том, как сделать машину, которая бы гордилась нами. Марвин Мински был довольно жестким ученым и то, что он своим «скальпелем познания» исследует тему чувств и эмоций, что же делает нас людьми, довольно интересно и полезно. Книга — отличный образец того, как «ИТишным подходом» попробовать осмыслить «человеческое»: ценности, идеалы, любовь, боль, здравый смысл.

§3-5 Корректоры, Супрессоры и Цензоры

«Не обращайте внимание на критиков. И даже не пытайтесь игнорировать их»
— Сэм Голдуин.

Было бы замечательно никогда не ошибаться и никогда не иметь ложных представлений. Но совершенство всегда будет недостижимо: мы постоянно делаем ошибки и недочёты.

Боль в колене Джоан стала ухудшаться. Сегодня ей было больно весь день, даже когда она не трогала больное место. Она думает: «Я не должна была поворачиваться, когда поднимала эту коробку. И я наконец-то должна приложить лёд к моему колену»

Нам нравится думать о ситуации в позитивном ключе: «Эксперт – это человек, который знает что он делает». И вы знаете, как хорошо делать большинство вещей, что вы едва ли задумываетесь о том как их нужно делать. Вы вспоминаете большинство вещей, которые вы видите, а также вы общаетесь не задаваясь вопросом о том, как вы это делаете. Тем не менее, опыт также имеет и негативную сторону: «Эксперт – это тот, кто редко терпит неудачу из-за того, что он знает, что делать не надо». Именно из-за этого мы обычно не сталкиваемся со стеной. Мы редко пытаемся вставить какие-либо вещи в наши глаза. Мы никогда не говорим незнакомцам, насколько они страшные.

Какая часть человеческих знаний основана на знании какие действия не стоит предпринимать, для того чтобы избежать всяческих ошибок? Мы многого не знаем о подобном «негативном опыте», потому что эта тема крайне редко обсуждается в Психологии, за исключением трудов Зигмунда Фрейда.

Возможно, этот факт оставался не обнаруженным, из-за того, что мы не можем наблюдать извне того, что люди не делают для достижения какой-либо цели. Изучать подобные вещи также сложно, как и заставлять свой разум думать над тем, что заставляет вас держаться подальше от абсурдных идей. Чтобы учесть этот неприятный факт, мы предположим, что в нашем мозге имеются особые ресурсы, назовём их Критиками, каждый из которых распознаёт определённый вид ошибки. Ниже приведено несколько видов Критиков; мы рассмотрим их подробнее в главе §7.

Критик-Корректор предупреждает вас, когда вы начинаете делать что-либо опасное. «Ты должен прекратить делать это действие прямо сейчас, потому что ты тянешь свою руку в открытый огонь». Но подобные предупреждения могут приходить слишком поздно.

Супрессор может предупредить об опасности, с которой вы сталкиваетесь, и может наложить вето на определённые действия, которые вы хотели бы совершить, остановив их, пока не стало слишком поздно – например, говоря вам: «Нет, не иди в этом направлении!» Или он может сказать вам использовать какую-то технику отладки, для какого-либо события.

Цензор (или Корректор) срабатывает ещё раньше, и сдерживает вас от наличия опасных мыслей – поэтому вы даже не можете и помыслить о том, чтобы засунуть свой палец в огонь. Цензоры могут настолько эффективно работать, что вы даже не будете знать, что он выполняет какое-либо действие.

Самоконтроллер распознаёт, что вы не смогли выполнить то или иное действие, потому что, вместо того чтобы выполнять это действие так, как ранее было задумано, вы «передумывали» делать его.

Супрессоры действуют гораздо безопаснее Корректоров, но они оба, как правило, заставляют вас действовать более осмотрительно, в то время, когда вы думаете о чем-то отвлечённом. Тем не менее, цензоры совершенно не потребляют времени на обработку данных, потому что они отталкивают вас от рискованных действия, без прерывания исполнений других ваших мыслей таким образом, они вас ускоряют. Именно поэтому некоторые эксперты могут делать дела быстро: они попросту не задумываются о неправильных вещах.

Студент: Как цензор может отбросить плохую мысль до того, как вы будете знать о чём вы, вероятнее всего, будете думать? Раз здесь нет какого-либо парадокса?

Программист ИИ: Это не проблема. Просто спроектируйте каждый цензор как самообучающуюся машину, который будет фиксировать какие решения приводят к ошибкам. Затем, когда он будет обнаруживать подобный выбор, он будет направлять вашу мысль в другое русло, что, в конечном итоге, не приведёт вас к принятию такого же решения.

Студент: В таком случае, не будет ли такой Цензор потреблять определённое время вашего мозга? Кроме того, что если оба варианта привели к одинаково плохим последствиям? В таком случае Цензор должен работать ещё раньше, для того чтобы вы не попали в плохую ситуацию из-за решения самого Цензора.

Программист ИИ: Мы можем решить эту проблему, попросту дав каждому Цензору достаточно памяти для запоминания некоторых предыдущих шагов, которые привели к развитию негативной ситуации.

Студент: Может быть подобная игра не стоит свеч? Если ваши Цензоры могут спасти от любой вашей ошибки, это может сделать ваше поведения ультра консервативным и вы не сможете генерировать новые идеи.

В самом деле, некоторые эксперты знают так много вещей и способов, из-за чего устройство или действие может не сработать, что им становится крайне трудно генерировать новые идеи вообще.

Чрезмерное переключение

Последнее время — а почему, я и сам не знаю — я утратил всю свою веселость, забросил все привычные занятия; и, действительно, на душе у меня так тяжело, что эта прекрасная храмина, земля, кажется мне пустынным мысом; этот несравненнейший полог, воздух, видите ли, эта великолепно раскинутая твердь, эта величественная кровля, выложенная золотым огнем, — все это кажется мне не чем иным, как мутным и чумным скоплением паров.
— Гамлет

Что происходит, когда включаются (или выключаются) слишком много Критиков? Вот краткое описание, что происходит в этом случае:

Кэй Редфилд Джеймисон: «Клиническая картина маниакально-депрессивого синдрома гораздо более смертельна и бесконечно сложнее, чем предполагаемая сейчас психологической номенклатурой биполярное расстройство. Циклы колебания настроения и внутренней энергии служат показателем постоянной смены мыслей, поведения и чувств. Болезнь охватывает крайние точки человеческого опыта. Мышление может представлять собой то, витиеватый психоз, или «безумие», то систему невероятно ясных, быстрых и креативных ассоциаций, то такую сильную деградацию, что при таком состоянии невозможно различить никакой мыслительной деятельности. Поведение может быть бешеное, экспансивное, причудливое или соблазнительное или же оно может быть параноидальным, вялым, и опасно суицидальным. Настроение может колебаться между эйфорией и отчаянием или раздражительностью и отчаянием. … Но подобные максимумы, связанные с манией, как правило приятны и продуктивны, во время ранних, более легких стадий»

В более поздней работе автор больше говорит о подобных ментальных каскадах:

«Похоже, что как качество, так и количество мыслей формируются во время гиопмании. Их количество может варьировать от очень небольшого ускорения, до полной психотической непоследовательности. Пока неясно, что вызывает это качественное изменение в умственной работе. Тем не менее, подобное изменение когнитивных состояний может способствовать формированию уникальных идей и ассоциаций. … Человек, страдающий депрессией имеет тенденцию задавать тягучие и витиеватые вопросы, в то время как человек, страдающий манией, имеет тенденцию отвечать с необузданной энергией и уверенностью. Постоянные переходы из крайне скованного образа мысли до невероятно экспансивного образа мысли, от подавленного до вспыльчивого состояния, от мрачного до невероятно живого настроения, от открытых до закрытых поз, от холодного до обжигающе теплого отношения к окружающим, а также скорость и текучесть движений, происходящих во время подобного изменения состояний – может быть крайне болезненным и сбивающим с толку.»

Нам легко увидеть крайности в поведении людей, болеющих теми психическими заболеваниями, которыми мы называем «биполярными» расстройствами, на в главе §7 будет высказано предположение, что мы все используем подобные процессы в нашей обыденной жизни. Таким образом, вы можете использовать следующую процедуру, когда сталкиваетесь с новой для вас проблемой:

Вначале, выключите большинство ваших Критиков. Это поможет вам начать думать о тех вещах, о которых вы ранее думать не могли – не волнуясь о том как хорошо могут эти вещи сработать. Таким образом вовлеките в себя в короткий период «маниакального» состояния.

Затем, вы можете включить большинство критиков, для того чтобы исследовать выданные вами результаты с долей скепсиса – так, если бы у вас была лёгкая депрессия.

И наконец, выберите один подход, который кажется вам многообещающим, а затем начните его разрабатывать до того момента, пока один из ваших Критиков не начнёт жаловаться, на то, что вы перестали добиваться прогресса.

Иногда вы можете переходить между этими фразами сознательно. Одна из моих догадок заключается в том, что мы постоянно бессознательно переходим между этими тремя состояниями настолько быстро, что едва можем заметить, что в нашем мозге что-либо происходит.

Обучаясь на Неудачах

«Никогда не прерывайте противника, когда он совершает ошибку»
— Наполеон Бонапарт

Многие вещи, к которым мы относимся позитивно ( например красота, юмор, а также само удовольствие) могут основываться на цензуре — таким образом, их можно, в конечном итоге, отнести к негативным вещам. Таким образом, удовольствие может присваиваться «позитивному» процессу, который в данный момент времени находится «под контролем» — независимо от того, что другие процессы (который в данный момент времени подавляются) могут рассмотреть конкретное действие как «негативное». (См. §9-2 из SoM) Таким образом, фраза «Я получаю от этого удовольствие» означает как «Я хочу остаться в нынешнем состоянии», так и «Я хочу предотвратить любые изменения этого состояния».

Студент: Но мне казалось, что широко распространено мнение, что обучение работает путём «усиления» связей, которые привели к успеху, и «ослабления тех связей, которые привели к неудаче. Многие преподаватели говорят, что нам всегда должно быть приятно учиться, потому что удовольствие — это наша награда за успех, тогда как неудача сдерживает наши стремления и демотивирует нас.

Этот популярный взгляд основывается на исследованиях(которые в основном проводились на голубях и крысах), которое показало, что более быстрое вознаграждение ускоряет обучение. Это уверило многих учителей в вышеописанной идее, что обучение должно быть приятным опытом. Однако, мы не должны необдуманно применять эту идею к нам самим, так как мы можем обучаться также размышляя над сделанными действиями!

Я не говорю, что „теория усиления“ неверна — для людей эта теория может быть частью большого паззла; в §8-5 мы будем говорить о том, что наша способность обучаться основанная на осмыслении неудач может быть более важна, чем „подкрепление“ обучения — во всяком случае, так обстоят дела с высокоуровневыми видами мышления. Ибо, когда как удовольствие может помочь нам изучать простые вещи, в разделе §9-4 будет обсуждаться, что нам могут понадобиться испытать страдания, чтобы в нашем мозге случились масштабные перестройки. Если это действительно обстоит именно таким образом, древний стоик сказал бы: вознаграждение за успех может привести вас к празднованию этого события, нежели к исследованию его. Вот ещё несколько причин, почему „обучение на основании успеха“ может не всегда быть оправданным, в особенности, когда этот успех был ожидаемым.

Подкрепление может привести к Ригидности: если система уже работает как надо, тогда дополнительный „позитивный стимул“ может сделать соединения между нейронами гораздо сильнее, чем они должны быть, что может затруднить адаптацию этой системы к новым ситуациям в будущем.

Зависимость может привести к Побочным Эффектам: если определённый ресурс Р начал работать настолько хорошо, что все остальные ресурсы стали зависеть от него, тогда любое изменение, которое вы внесёте в ресурс Р с большей долей вероятности повредит эти зависимые ресурсы. Иными словами, как говорится в поговорке: „Не чини эту, пока оно не сломалось“.

Негативная Экспертиза: одним из способов избежать подобных побочных эффектов — оставить оформленный ресурс неизменным, но ввести в систему дополнительного Критика и Цензора, для мониторинга условий и избежания ситуации, когда этот ресурс бы не сработал. Другими словами, начать относиться к этому ресурсу как к некоторым исключениям в правиле.

Радикальное обучение: вы можете „настроить“ определённый навык путём применения в обучении большого количества малых шагов, но вскоре никакие мелкие изменения вам не помогу, ибо вы попадёте в область локального максимума. В таком случае, дальнейшие изменения могут потребовать от вас некоторого дискомфорта и принятия разочарования в ваших навыках. Для больше информации смотрите §9-4.

Принцип Паперта: когда два или больше применяемых методов конфликтуют, то, вместо того, чтобы искать компромисс между ними, выгоднее отказаться от них и попробовать что-нибудь другое. Многие шаги, которые определяют умственный рост основаны меньше на приобретении новых навыков, и больше на обучении использования старых знаний но совершенно новыми способами.

Таким образом, по вышеописанным причинам нам нужно учиться не только путём использования методов, которые работали в прошлом, но и с помощью методов, которые не дали результатов, а также на размышлении почему эти методы не возымели успехов, что позволит избежать часто встречающихся ошибок.

Студент: Да, но почему мы не можем обучаться попросту нарушив связи в том случае, когда вы совершаете досадную ошибку, чтобы ваш мозг никогда не сделал подобного действия снова?

Одна из причин, почему это очень плохая идея заключается в том, что вы теряете шанс узнать что всё-таки пошло не так, а вы совершили ошибку (для того, чтобы в будущем вы смогли избежать ошибок подобного рода). Вторая проблема заключается в том, что используя эту тактику и меняете что-либо в системе, то эта действие приводит к изменению поведения других систем, которые ранее уже сформировали связи с определёнными ресурсами т.к. эти сязи также будут основаны на тех соединениях. Если вы не знаете как работает ваша выбранная система, вы можете сделать гораздо хуже, если будете „исправлять“ имеющиеся ошибки.

Программист: Я абсолютно понимаю то, что вы имеете в виду. Каждая попытка улучшить программу будет приводить к появлению новых ошибок. Вот почему новые программы часто имеют огромные участи старого кода: никто не помнит как он работает, и поэтому все боятся что-либо менять в нём.

Студент: Но что если у вас попросту нет альтернативных вариантов, потому что что-то произошло и вам это что-то нужно исправить.

Возможно нашим самым важным шагом в улучшении себя — это научиться думать о самом мышлении, то есть научиться „размышлять“ о том, что и как наш мозг думает. Однако, для этого необходимо научиться получать удовольствие от стресса, который мы испытываем в то время, когда изучаем себя. Для больших деталей смотрите §8-5 и §9-4.

Вариации Негативного Опыта

Креативность: Почему у некоторых людей появляются идеи лучше, чем у других людей? Я не говорю о «новых» идеях, потому что можно с лёгкостью построить машину, которая бы выдавала бесконечный поток новых вещей, которые никто никогда не видел; что отличает мыслителей от остальных людей – это «креативность», которая проявляется не в том, как много вещей мыслитель может придумать, но насколько эти вещи полезны для окружающего мира. Это значит, что у креативных людей должны существовать какие-то механизмы, которые должны подавлять, а может и вовсе заставлять не генерировать, вещи, которые имеют в себе слишком много новизны, заостряя внимание на вещах, которые немного отличаются от существующих и которые приносят пользу.

Юмор: Юмор также обычно воспринимается как положительная вещь, но в действительности, шутки в основном фокусируются на отрицательных вещах — в том смысле, что они почти всегда с вещами или деятельностью, которые человек не должен делать, потому что эти они запрещены, отвратительны или претворение их в жизнь крайне глупо.

Решительность: Точно так же мы склонны думать о принятии решений как о положительной вещи. Но в те моменты, когда мы делаем выбор (и который мы описываем как «акт свободной воли») наши внутренние процессы могут функционировать совершенно иначе, чем мы думаем. Момент, когда вы принимаете решение, может быть ни больше ни меньше, чем отключением сложных процессов, которые мозг использует для сравнения имеющихся альтернатив.

Удовольствие: если мы будем рассматривать ум как область различных конкурирующих ресурсов, то чем больше удовольствия мы получаем (в смысле для самого себя), тем сильнее мы можем вредить всем имеющимся психическим процессам! Ибо, в этом случае какой-то конкретный процесс захватывает полный контроль над вашим разумом, отключая все остальные процессы. Подобный захват контроля каким-то одним процессом затрудняет фокусировку на какой-то другой деятельности (подобные ощущения сможет описать каждый наркоман). Об влиянии удовольствия будет рассказано в 9 главе.

Существуют и другие способы отключения ресурсов, кроме прямых попыток их подавления. Одним из способов подавить ресурс является активирование одного из конкурентов данного ресурса. Например, вы можете «отодвинуть» время сна, если вступите с кем-либо в схватку.

Еще одним вариантом подавления определённых ресурсов является повторение определённого стимула, который активирует ресурс, пока конкретный ресурс не перестанет на него реагировать – этот способ очень похож на сказку «О пастухе и волке».

Воспитание: а теперь задумайтесь о том, что человек должен делать в процессе воспитания ребенка. Он должен его кормить, мыть, защищать, одевать, учить и помогать; в течение многих лет человек должен жертвовать богатством и вниманием. Какое побуждение может заставить человека отказаться от многих других удовольствий и целей, для того, чтобы стать настолько самоотверженным? Такие сильные ограничения, если они навязываются извне, кажутся жестокими и весьма изощрёнными пытками. Очевидно, что естественный отбор благоприятствовал тем, кто развивал способы подавления психических Критиков, ответственных за подобное поведение; ни один человек, не имеющий у себя вышеописанных критиков не сможет выносить подобные продолжительный стресс, что в итоге будет уменьшать количество потомков.

Красота: мы склонны расценивать красоту как положительную вещи. Но когда кто-то говорит, что что-то «красиво», и вы спрашиваете: «Что заставляет вас испытывать это чувство к данному объекту?», ваш собеседник может расценить подобный вопрос как нападение на его личность, или объяснить тем, что «у каждого есть свой вкус», или же может ответить вам совершенно по-детски: «Мне просто нравится эта вещь». Подобные ответы свидетельствуют (как мы видели в параграфе 1-1), что симпатия этих людей проистекает из-за подавления их внутренних Критиков. Мы все знаем, что если кто-то попытается найти какой-либо изъян в объекте – он непременно найдёт его.

Мистический опыт: Отключение внутренних Критиков выливается как в уменьшении количества окружающих вас проблем, так и в уменьшении количества целей, которые вы преследуете. И если внутренних Критиков выключается слишком много, то весь ваш окружающий мир может внезапно измениться – всё вокруг будет казаться великолепным. Если вы хотите испытать это данное ощущение мировосприятия – есть хорошо известные методики самоконтроля, которые помогут вам в этом. Данные методики помогают снять различные виды болей и стресса, а также ощущение голода и холода. Схожие эффекты могут быть вызваны различными психоактивными препаратами, и различными методами медитации. Если вы решитесь на подобный эксперимент, не забудьте проводить его в каком-нибудь тихом месте, которое сможет обеспечить вам сенсорную депривацию, которая будет способствовать отключению большинства внутренних Критиков. Затем создайте ритмический гул, в котором повторяется какая-то однообразная фраза или тон, и через некоторое этот звук потеряет всякий смысл и суть – что произойдёт практически со всеми остальными ощущениями! Если вы все сделали правильно, вы можете внезапно оказаться переполненным каким-то чрезвычайно манящим ощущением Бытия — и тогда вы можете потратить всю оставшуюся жизнь, пытаясь обрести это ощущение вновь. Я подозреваю, что данное ощущение маскирует любые упоминания и следы ваших самых ранних Импраймеров, которые скрываются в глубинах вашего разума.

Люди ввели множество разных слов для описания состояния Бытия: «Экстаз», «Упоение», «Эйфория», «Блаженство и мистический опыт». Когда вы испытываете это ощущение, вам начинает казать, что вы познали Великую Истину, что ничего другое кроме неё не имеет значения, и что вам больше не нужно никаких доказательств её существования; ваш разум гасит все попытки задать вопрос о том, что именно открылось вам в момент познания этого ощущения, а когда вы попытаетесь объяснить своим друзьям то что вы ощутили, вы обнаружите, что едва ли можете сказать что-то еще, кроме того насколько ощущения от данного состояния были «великолепными». Однако состояние, в котором вы не обнаружили никаких негативных ощущений, из-за того, что вы отключили всех своих внутренних Критиков, лучше всего описать как «безупречное».

За перевод спасибо Станиславу Суханицкому

Об авторе

Марвин Ли Минский (англ. Marvin Lee Minsky; 9 августа 1927 — 24 января 2016) — американский учёный в области искусственного интеллекта, сооснователь Лаборатории искусственного интеллекта в Массачусетском технологическом институте. [Википедия]

Интересные факты:

• Минский дружил с критиком Харольдом Блумом из Йельского университета (Yale University), который отзывался о нём не иначе как «зловещий Марвин Минский».
• Айзек Азимов описывал Минского как одного из двух людей, которые умнее, чем он сам; вторым, по его мнению, был Карл Саган.
• Марвин — робот с искусственным интеллектом из цикла романов Дугласа Адамса Автостопом по галактике и фильма Автостопом по галактике (фильм).
• Минский имеет контракт на заморозку своего мозга после смерти для того, чтобы его «воскресили» в будущем.
• В честь Минского назван пес главного героя в фильме Трон: Наследие. [Википедия]

---