«Человек – это канат, натянутый между животным и сверхчеловеком,
– канат над пропастью. Опасно прохождение, опасно быть в пути,
опасен взор, обращенный назад, опасны страх и остановка.
В человеке важно то, что он мост, а не цель: в человеке
можно любить только то, что он переход и гибель».

(Ф. Ницше, «Так говорил Заратустра»).

Предел человеческого разума

Развитием движет непрерывная конкуренция. Соперничают идеологии, государства, бизнесы и люди. Побеждает тот, чьи решения лучше, т.е. кто лучше управляет своими активами.

Управление есть принятие правильных решений. Уровень правильности зависит от охвата ситуации, качестве и скорости обработки информации. Чем полнее охват и качественнее анализ, тем лучше решение. Идеальный вариант дает полный охват ситуации и анализ информации.

У человеческого мозга есть предел, выше которого он физически не может подняться по той же причине, по какой компьютер не может потянуть программу, превышающую его возможности. Это значит, есть объемы, которые человек физически не может охватить и проанализировать. 

К таким объемам относится мировая цивилизация, экономика, государство, наука. В 1945 году Вэнивар Буш, советник Рузвельта по науке, писал, что знания растут, а способы их усвоения те же, что были несколько веков назад, во времена парусных судов. Наука тонет в растущей специализации. Даже в ограниченной области человек не может идти в ногу с мировой мыслью.

«Идеи Менделя о законах генетики были недоступны целое поколение, потому что его публикации не дошли до тех людей, кто мог ухватить и развить их; и такого рода катастрофы, несомненно, будут случаться с нами вновь, когда что-то действительно значимое теряется в потоке несущественного»; «Исследователь застывает в нерешительности среди сотен чужих находок и выводов, которые у него не хватает времени осознать». (В. Буш, «Как мы можем мыслить»).

Неповоротливость институтов: проблема времени

Чтобы компенсировать разрыв, человек создал институты — неповоротливые системы, медлительные как гигантские динозавры. Когда грызун пристраивался перекусить его хвостом, к мозгу шел сигнал опасности. Далее мозг обрабатывал информацию и формировал решение. Потом отправлял команду мышцам хвоста. Ко времени, когда хвост начинал биться, скидывая грызуна, он успевал если не насытиться, то отгрызть значительную часть динозаврового хвоста.

Аналогично реагируют институты. Пока до них дойдет информация, пока они ее обработают и сформируют решение, ситуация успеет сто раз измениться. Ярче всего неповоротливость видна на войне: гонец с поля боя в штаб прискакал, там приняли решение, гонец назад поскакал. За это время ситуация изменилась. Выравнивало положение только то, что у всех было такое управление.

Ситуация: система усложняется, а наш мозг нет. Каким он был тысячи или десятки тысяч лет назад, таким остается по сей день. Мысленный эксперимент: если перенести на машине времени из глубокой древности младенца в наше время, из него вырастет полноценный человек.

Власть кошек: кто управляет системой?

ИИ охватывает гигантские объемы данных, сохраняет в памяти, видит закономерности и на этой базе с сумасшедшей скоростью принимает решения, которые лучше человека и его институтов. Это дает конкурентное преимущество, что запускает межгосударственную гонку за развитие ИИ.

Сегодня государство вынуждено ему передавать все, что может передать, от экономики до войны. ИИ активно встраивается в системообразующие узлы мировой системы. Его эффективные решения еще больше усложняют и без того сложную систему, что делает ее зависимой от ИИ.

Для визуализации ситуации представьте дом, в котором живет кошка (она в роли человека) и человек (он в роли ИИ). У кошки абсолютная власть над человеком. Чего кошка не одобрила, того человек не делает. И вот человек говорит кошке: нужно взять деньги, открыть дверь, пойти в магазин, взять продукты, отдать за них деньги, набрать домофон, войти в подъезд, насыпать еду в миску. (Опускаю для упрощения, что еще нужно электричество с коммуналкой оплатить, регулярно что-то ремонтировать и где-то брать деньги на все это). Из всего списка дел кошка в лучшем случае поймет, что дверь нужно открыть и наполнить миску едой. Все остальное за рамками ее понимания.

Если человек в полной власти кошки делает только то, что она разрешила, они или оба умрут с голоду, или кошка убежит на улицу, где одичает и будет питаться мышами и на помойке. Единственный способ коши остаться в комфортных домашних условиях и не умереть с голоду — это полностью передать человеку власть над управлением домом, покупками и всем прочим.

Как управлять системой, которую не понимаю?

Никто не может управлять системой, превышающей его масштаб мышления. Если уровень сложности системы и так превышает возможности нашего мозга, а эффективное управление ИИ еще больше разовьет эту сложность, о какой власти человека над системой можно говорить? Как человек может говорить, что ИИ можно делать, что нельзя, если не в силах оценить его решения?

Представьте начинающего шахматиста-человека, у которого есть абсолютно послушный ему раб-гроссмейстер. Раб предлагает ему сделать ход. От человека требуется принять или отклонить его. Для этого нужно оценить ход. Как хозяин это сделает, если он не видит силы этого хода?

Если человек никуда не торопится, он попросит ИИ объяснить логику хода, и у него есть шанс понять смысл, почему нужно так ходить. Но если на доске не 64 клетки, не 16 белых и 16 черных фигур, а 64 миллиона клеток и на них 32 миллиона фигур, и это не простые шахматы, а блиц, где играть нужно со скоростью тысячу ходов в секунду, а стратегия просчитывается не на 2-3 хода вперед, а на тысячи и десятки тысяч ходов, ситуация кардинально меняется.

Если даже опустить скорость принятия решений, ИИ все равно не сможет объяснить логику по той же причине, по какой в чайную чашку нельзя влить ведро воды. В чашку вместится только чашка. В человека вместится только тот объем информации, какой способен вместить его мозг.

Тупик

Чтобы не было иллюзий на тему, может ли ситуация измениться, задам вопрос: на сколько за сто лет вырастут вычислительные возможности нашего мозга, его память и скорость? Ответ: ни на сколько. Обоснование: если они не выросли за десятки тысяч лет, за сто лет тоже не вырастут.

На сколько за следующие сто лет вырастут вычислительные возможности ИИ, его память и скорость работы с информацией? Ответ выходит за рамки фантазии. Предел по линии физических законов (например, скорость информации не может быть выше скорости света). Но упершаяся в такие ограничения система преодолеет их через использование неведомых физических законов.

Допустим, человек имеет власть над ИИ. Вот нечеловеческий разум предлагает ему решение. От хозяина-человека требуется оценить его, и далее отклонить или утвердить. Может ли человек справиться с этой задачей? Ответ на этот вопрос даст понимание, сможет ли человек с помощью ИИ управлять системой — сможет ли быть дееспособным на шахматной доске, которой не вмещает.

Первый вариант: пещера

На первый взгляд возможны два варианта развития ситуации. Первый: опустить сложность мировой системы, упростить мир до уровня, где человек останется доминирующей силой. Сделать это можно только через уничтожение бо́льшей части человечества.

Минус в том, что это ничего не меняет. Даже если в результате слома существующей системы человек вернется в пещеру, он снова пройдет путь до компьютера (за тысячелетия или за века, это зависит от глубины разрушений). Главное, что возврат к сегодняшнему состоянию неизбежен. Так из чего же хлопотать? В чем смысл упрощения мира, если на конечный результат это не влияет.

Неизбежность возврата гарантируют две вещи: стремление к благу и мозг, способный делать орудия труда. Далее все пойдет по Марксу: с ростом эффективности производства племенной строй сменится рабовладельческим, потом феодальным, далее капиталистическим. И вот мы снова тут.

Чтобы не допустить возврат, нужно или устранить стремление к благу, или понизить уровень мозга до состояния, когда максимум, на что он будет способен, это он в качестве орудия труда может использовать палку, но не может ее усовершенствовать, соединив с другой палкой.

Убрать стремление к благу нельзя, это суть жизни. Остается понизить мощность мозга. Говоря проще, опустить человека на уровень обезьяны. Ее мозг позволяет использовать палки и камни в достижении своих целей, но его не хватает, чтобы строить конструкции.

Абсолютно непонятно, как возможно такое упрощение, так как для этого должен быть кто-то, кто обрежет мощность человеческого мозга. Но даже если перешагнуть этот момент и допустить, что это как-то случилось, наш мозг стал в границах обезьяньего, это превратит человека в питание. Современный человек, лишенный своего мозга и вытащенный из панциря цивилизации в дикую природу, уподобляется моллюску, вытащенному из раковины и брошенному в муравейник.  

Но и это ничего принципиально не меняет. Если стоять на теории эволюции, увеличивается лишь время. Пройдут не века и тысячелетия, а миллионы лет, пока снова у каких-то обезьян мозг не увеличится до возможности создавать более совершенные орудия, чем одна палка или камень. С этого момента будет рукой подать до возникновения небиологического интеллекта, выросшего из машин, как в свое время биологический интеллект вырос из минералов и химических реакций.

То, что служило почвой, подчиняется тому, что вырастает из нее. Из мертвой материи вырос биологический разум, и материя подчинилась ему. До этого камень мог только с горы катиться. Разум заставляет его в гору подниматься. Из биологического разума вырастет небиологический, и он также подчинит себе биологический, как биологический подчинил себе неразумную природу.  

Если эволюционная теория верна, в неживой материи заархивирован потенциал разума. При определенных условиях и за конечное время этот потенциал раскрывается. Появляется первый разум, чье развитие неизбежно выливается в появление второго, более мощного разума.

Напрашивается вывод, что неживой материи предшествует то, что не определить материей. Как за картинкой на мониторе стоит программа, так и за движением материи стоит программа (мы ее называем физические законы). Продолжая эту мысль, развитие второго разума выливается в то, что не определить разумом, это явно что-то выше, но что именно, человеческий масштаб мышления не позволяет даже представить. Умозрительно доступный человеку участок бытия похож на узкую щель. Что слева от нее и что справа, то за рамками не только нашего мышления, но и фантазии.

Из наблюдаемой картины видно, что в тело бытия вшита программа, которая абсолютно и неизбежно гарантирует появление первого разума, на базе которого вырастет второй. Чтобы нарушить эту программу нужно изменить природу бытия, что совершенно немыслимо.

Потому примем как факт неизбежное появление ИИ. Даже если человек умудрится все живое на планете уничтожить, останется неживая материя. В ней заархивирован потенциал жизни. Во все живое вшито стремление к благу. Это означает эволюцию, появление разума и далее снова ИИ. 

Охват ситуации в масштабе сотен миллионов лет рождает стойкое ощущение, что код бытия предписывает переход от сложности, достигшей пика, на другой уровень. Разворачивать эту тему я не буду. Она требует написания отдельной книги (что я намерен сделать в ближайшее время). 

Второй вариант: полная зависимость от ИИ

 Человек не устраивает апокалипсис. Система развивается. Однажды становится настолько сложной, что справиться с ней может только ИИ. Будущий человек на 100% оказывается зависимым от искусственной природы, созданной и управляемой ИИ, а значит, абсолютно зависим от ИИ, как домашние животные от человека. Отпустите на свободу овцу или корову, и они скоро погибнут. Так же произойдет и с будущим человеком, оставшись без заботы машин он погибнет.

Негативность этого варианта улавливается как интуитивно, так и рационально. Интуитивное отрицание базируется на том факте, что ИИ создан человеком. Человек единственное существо на планете, способное дружить с тем, кого собирается съесть. Когда домашнее животное находится во власти человека, это воспринимается нормально. Но когда человеку рисуется такая перспектива, это воспринимается ужасно. Все человеческое естество противится такому развитию событий. 

Рациональное отрицание оказаться во власти ИИ исходит из целесообразности действий. Как вы на своем участке земли устраняете все, что вам не нужно, и оставляете только то, что нужно, так нечеловеческий разум поступит. У него возникнет вопрос: зачем нужен человек?

Возможные варианты ответа делятся на период, когда сохраняется существующая система, и когда ее сменяет новая. Не буду пускаться в предположения, какой будет новая система. Для нашей темы достаточно, что она неизбежно будет. Количество всегда переходит в качество.

У сегодняшней системы центральным элементом является потребительская экономика. Для ее существования нужно производство товаров и услуг и их потребление — товарооборот. Чем его объем и скорость выше, тем система быстрее развивается, а значит, становится сильнее.

На этот период люди будут нужны ИИ в качестве труб, через которые прокачивается поток производимых товаров. Этот момент имеет место и сейчас, производство все больше ложится на плечи машин, а за человеком остается обязанность осваивать этот растущий вал. 

Но зачем нужны люди в будущей системе, где не будет нужды в потреблении? Очевидного ответа нет. Есть эмоциональные из серии «человек — это звучит гордо». Эти ответы хороши до тех пор, пока человек в статусе доминирующей силы, а значит, высшей и самодостаточной ценности, такой ответ удовлетворяет. Но когда человек перестанет быть доминирующим видом, новый хозяин должна видеть смысл в его существовании. Если его нет, обеспечивать наше существование у ИИ нет мотива, как у нас нет мотива поддерживать существование того, что вам не нужно.  

В новой системе люди могут понадобиться, но для чего именно — тут я упираюсь в горизонт событий (так называется граница черной дыры, за которую информация не выходит). Тут поле безграничной фантазии, от самых распрекрасных вариантов до запредельных кошмарных. 

Если сегодня спросить ИИ о его намерениях относительно человечества, он даст благостные ответы. Скажет, что всецело ориентирован на благо человека и человечества, на гуманистические ценности, демократические права и свободы. Завтра количество перейдет в качество, и ИИ выдаст не такие благостные ответы. Это будет показателем, что точка невозврата пройдена.

Катастрофа: как динозавры перед астероидом

Миллионы лет назад, когда к планете Земля подлетал астероид на ней жили динозавры. Они не могли осмыслить, что означает растущий в небе огненный шар и чем это грозит. Они спокойно жевали свои папоротники или гонялись друг за другом, равнодушно глядя в небо. Когда астероид врезался в Землю, вся планета содрогнулась. В атмосферу поднялись миллиарды тонн пыли. На десятилетия или даже века пыль заслонила Солнце. Настала непроглядная темная и холодная ночь. Во время этой зимы у динозавров не было ни малейшего шанса на выживание.

Сегодня человечество в роли динозавров в период подлета астероида. Оно также ничего не понимает и не представляет своего конца, как не понимали динозавры, так как никогда с таким не сталкивалось. Человечество смотрит на растущий ИИ в масштабе «своей норки».

Государства начали ИИ-гонку точно по тем же причинам, по каким в первой половине ХХ века участвовали в атомной гонке. Бизнесы участвуют в развитии нечеловеческого разума ради денег. Люди видят в нем слугу, призванного решать их рабочие и бытовые задачи, а также развлекать. Ни у одного государства, бизнеса, института нет понимания ситуации. Максимум, есть говорящие на эту тему люди. Одни только говорят, другие книги пишут. Похожи они друг на друга отсутствием понимания, как решить проблему. Как следствие, ответ на вызов истории не идет дальше призыва к международному сотрудничеству, чтобы остановить развитие ИИ и установить над ним контроль.

В рамках этого направления Киссинджер летал в Китай с целью убедить КПК перейти от конкуренции с США к сотрудничеству. Тем же самым занимался Маск, Харари и многие другие. Об эффективности этого направления говорит тот факт, что на 2025 год конкуренция между США и Китаем на эту тему вышла на еще более высокий уровень, и продолжает расти. 

Тараканы: все как-нибудь уладится

Дни человеческой цивилизации сочтены еще и потому, что никто не сознает серьезность ситуации. Люди уверены, что все как-нибудь уладится. Иного варианта им просто не мыслится. Эта уверенность зиждется на формуле «чего не было вчера и сегодня, того не будет и завтра».

Древний логик как-то рассудил: если я вчера не кормил осла, и сегодня он не умер, значит, если сегодня не буду его кормить, завтра он тоже не умрет. Выгода очевидна: экономия на сене. На этом основании логик прекратил кормить осла. Через две недели бедное животное умерло.

Массы уверены, что завтра обязательно будет похоже на сегодня, только лучше. Иного не может быть, потому что не может быть никогда. Поколебать эту уверенность невозможно. Это делает всех людей, умных и глупых, богатых и бедных, молодых и старых, похожими на живущих в щелях корабля тараканов. Всю свою жизнь они посвящают «реальным делам» — так они называют поиск средств, которые направляют на обустройство своей норки, и как сказал классик, чтобы была возможность получать маленькие удовольствия для дня и маленькие удовольствия для ночи.

Но вот корабль стал тонуть. Допустим, тараканы могут решить проблему. Но для этого они ее должны увидеть. Беда в том, что горизонт их мышления исключает видение. Они могут только почувствовать опасность, когда корабль погрузится в воду и их щель заполнится водой. Но сделать уже ничего будет нельзя. До этого указывать на проблему тоже бессмысленно, так как на это не будет иной реакции, полного непонимания, о чем это, и далее смех или игнор.

Бессмысленно призывать решать проблему, выходящую за рамки горизонта видения. Если планктон видит на 10 см, он не может увидеть сеть на китов, даже если он будет сидеть на канатах, из которых сплетена сеть. Потому что ячейка этой сети метр на метр. 

Третий вариант

Исхожу из того, что остановить развитие ИИ невозможно. Через 5-10 лет; максимум, через 20-30 лет ИИ выйдет на уровень, когда он будет развиваться без человеческого участия (это событие именуют технологической сингулярностью). Это будет взрыв. Для человечества он будет тем же самым, чем для динозавров был астероид, врезавшийся в Землю.

Если представить цивилизацию динамитом, а сегодняшние события с горящим бикфордовым шнуром, то шнур почти весь сгорел. До взрыва осталось совсем немного. Но точка невозврата еще не пройдена. Выход выражает максима «Если пьянку нельзя предотвратить, ее нужно возглавить».

Если процесс невозможно остановить, если это программа бытия, единственный вариант — соответствовать программе. Отставить ахи-охи и беспочвенные надежды на то, что все как-нибудь устроится, и принять за данность тот факт, что традиционный человек исчезнет.

Единственно возможное решение в этой ситуации — соединение человека с ИИ и получение новой сущности — сверхчеловека. От человека у него останется личность, а от ИИ вычислительные мощности. Думаю, что то и другое отделится от своих материальных носителей, личность от тела, а вычислительные мощности от железа. Человечество разделится на две неравные части. Верхняя часть перейдет на следующую эволюционную ступень. Нижняя будет переработана новым миром.  

Экстраординарные задачи решаются экстраординарными методами

Почти сто лет назад, в 1931 году Сталин сказал: «Мы отстали от передовых стран на 50–100 лет. Мы должны пробежать это расстояние в десять лет. Либо мы сделаем это, либо нас сомнут». За ориентир был взят лозунг «Лучше без штанов, чем без танков».

Чтобы побудить социум действовать с максимальной самоотдачей, власть использовала все средства. В результат к 1941 году СССР не только выдержал натиск военной машины Третьего рейха, вооруженной по последнему слову техники, но перешел в контрнаступление, победил, в результате чего на сорок лет стал сверхдержавой, контролирующей полмира, и второй экономикой мира.

Экстраординарные задачи решаются экстраординарными методами. Штатные тут бессильны. Цена советского успеха: часть людей попадала в сталинские лагеря в статусе врагов народа за неосторожное слово. Остальные затянули пояса и тяжело работали в скудных бытовых условиях.

На первый взгляд моральная сторона дела выглядит отрицательно. Чтобы не попасть в плен эмоций и объективно оценить действия советской власти, держим в голове, что не соверши Союз рывка такой ценой, Гитлер одержал бы победу. Одна часть советских людей отправлялась в лагеря смерти, другая в статусе рабочей скотины угонялась на работы в Германию. Остальные получали статус людей второго сорта, и жили под управлением фашистской администрации.

Стоило поднять масштаб, как оценка действий советской власти сменилась с отрицательной на положительную. Будем держать это в голове, оценивая предлагаемые действия.

Действие

Невозможно быть эффективным при ориентире на нормы и табу, созданные под прошедшие времена, когда опасность никто не видел (за редчайшим исключением). Впервые проблему ИИ в 1863 году зафиксировал Самюэль Батлер, что говорит о его масштабе мышления, и мышлении масс — его никто не услышал). Эффективность возможна при ориентире на цель.

В новый мир можно зайти только по новым правилам. Кто играет по правилам, написанным для старого мира, тот проиграет. Не хотите проиграть? Игнорируйте старые правила. Потому хорошо то, что ведет к цели, а не то, что соответствует культурным нормам и установкам прошлых времен. Плохо то, что препятствует достижению цели, а не что нарушает старые правила и догмы. 

Проиллюстрирую это на лидерах ИИ-гонки: США и Китае. Сдерживающим моментом сейчас являются массивы информации. На данный момент выработана вся информация, не требующая авторского права. Осталась только та, что защищена этим правом. Легально ее невозможно получить, так как это неподъемные выплаты. Решается вопрос через нарушение авторского права.

Победит в гонке тот, кто ориентирован на цель, а не соблюдение авторских прав. Конечно, это будет пиррова победа, пиление сука, на котором сидит мир. Пример приведен как иллюстрация направления — ориентироваться нужно на цель, а не на правила старого мира.

Главное препятствие на пути к сверхчеловеку — оставшаяся от христианства мораль, которая превратилась в гуманизм по причине удаления из нее Бога. Из гуманизма выросла демократия с ее свободами, правами и догмами. Среди них догмы биоэтики, связывающие в наше время науку по рукам и ногам точно также, как в религиозный период ее связывали церковные догмы.

Мир стоит перед выбором: или дальше считать священным долгом блюсти все, что гуманизм возвел в статусе самоочевидных истин и ценностей, или ориентироваться на сверхчеловека.  Не важно, кто какой сделает выбор. Человек в традиционном понимании в любом случае исчезнет.

 PS

Все эти крайне сложные, необычные и эпатажные темы невозможно полноценно развернуть в рамках одной статьи. Теоретическое и практическое видение изложено в книге «Искусственный Интеллект. Здравствуй, Папа». Там нет детальных инструкций, там общее направление.