Определение

Автор термина «технологическая сингулярность» — Вернор Виндж, американский математик, программист и писатель-фантаст. Он определяет сингулярность моментом, когда ИИ сможет развиваться без участия человека со скоростью, исключающей осмысление происходящего. Это «точка, после которой дальнейшие события непредсказуемы для человеческого разума».

Наступление сингулярности по определению исключает контроль. Если ИИ под контролем, значит, сингулярность еще не наступила. Значит, ИИ не автономный агент, а продвинутый инструмент.

Неизбежность

Если технический прогресс невозможно остановить, наступление технологической сингулярности неизбежно. Вопрос времени, когда на планете появится интеллект, превосходящий человеческий и постоянно растущий. Он по своей природе чужд человеку, его цели недоступны для понимания, а действия непредсказуемы. Появление этой сущности качественно изменит реальность.

Последний раз изменение такого масштаба было, максимум, около 4 миллиардов лет назад, во времена перехода мертвой материи на следующий уровень организации — к живой. Минимум, несколько сотен тысяч лет назад, когда совершился переход от живой материи к разумной.

Человек относительно превосходящей его сущности на первых порах будет тем же самым, чем обезьяна для человека. Так как развитие ИИ не остановится и не замедлится, а напротив, будет только ускоряться, уровень человека будет понижаться. Однажды разрыв между ИИ и человеком будет таким же, как между человеком и мертвой материей. Как человек преобразует под свои цели камни, так чуждый разум будет преобразовывать под свои алгоритмы человека.  

Самообман

У традиционного человека нет шанса противостоять разворачивающемуся процессу. Но признать это сложно. Здесь корни позиции, когда, с одной стороны, человек признает верность логической цепочки «Прогресс — развитие ИИ — сингулярность». С другой стороны, надеется, что все же как-нибудь он сможет контролировать автономно развивающийся ИИ.

Представителем такой позиции является, например, Бостром. Он соглашается с неизбежным наступлением сингулярности. Но тут же говорит, что человек запрограммирует ИИ на соблюдение этических норм, т.е. поставит автономный ИИ под контрль: «Если мы корректно зададим начальные параметры, ИИ будет действовать в наших интересах, даже развиваясь автономно».

Из этого же лагеря Хассабис: «ИИ достигнет сингулярности, но глобальное регулирование и этические стандарты позволят сохранить надзор». 

Но проблема в том, что автономный ИИ перерастёт любые «начальные параметры». Чалмерс на эту тему пишет: «Сверхразумный ИИ перепишет свой исходный код, сделав контроль иллюзорным». Юдковский о контроле: «Любая система, превосходящая человеческий интеллект, сможет манипулировать нами задолго до того, как мы осознаем угрозу. Контроль — это миф». Ему вторит Рассел: «Мы не можем предсказать цели сверхразумного ИИ. Даже если он будет „дружественным“, его методы достижения целей могут быть катастрофичны».

Техническая сингулярность и контроль — взаимоисключающие понятия. Кто признает, что она неизбежна, но выражает надежду сохранить контроль, тот или недооценивает скорость и масштаб изменений, или закрывает на них глаза и сам себя обманывает, подменяя понятия (называет сингулярностью этап, когда ИИ зависит от человека, т.е. когда он еще не стал автономным).

Самостоп

Другое направление контроля над ИИ — слиться с ним. Оно делится на западный и российский вариант. Наиболее заметный представитель западного направления Курцвейл. Его позиция во фразе: «Мы не будем контролировать ИИ — мы станем им. Это симбиоз, а не конфликт».

По мнению Курцвейла, ИИ станет автономным к 2045 году. К этому времени нужно успеть слиться с ИИ. Каким же образом? Через нейроинтерфейсы. На чем основана надежда, что человек успеет за оставшееся время по такой технологии слиться? Ни на чем. Для слияния в этом направлении нужны технологии другого уровня. За оставшееся время их невозможно получить.

Курцвейл обходит молчанием эту тему. Равно как не заостряет внимания на том, что слившийся с ИИ человек больше не человек. Как неправильно называть обезьяну, превратившуюся в человека, поумневшей обезьяной, так и человека, слившегося с вычислительными мощностями ИИ, неправильно называть поумневшим человеком. Это существо с новой ступени эволюции.

Авторитетам свойственно больше заботиться о сохранении своего авторитета, чем об истине. Так как это зависит от соблюдения границы, рассуждения авторитеты всегда в рамках. В средние века линию дозволенного чертила религия. Сегодня ее прорисовал гуманизм.

В большинстве случаев оправдано не выходить в своих мыслях и словах за границу дозволенного. Если абсолютной истины нет, всякая истина относительна, разрушать ради этого источник земных благ, свой авторитет, попросту неразумно. Потому кардинально новые истины провозглашают в основном люди без авторитета. Им нечего терять, приобрести же они могут.

Но бывают ситуации, когда ориентир на сохранение авторитета является самоубийственным. Пока вы на корабле, мешок с золотом перевешивает все другие истины. Но если корабль затонул, и до берега можно добраться только вплавь, а для этого нужно отпустить мешок, кто не отпустит, тот не доплывет. Что во вчерашней ситуации было преимуществом, в новой становится отягощением.

Западное мышление также связано этикой гуманизма, как в религиозные времена было связано церковной этикой. Ни у кого из западных авторитетов, ученых и политиков, нельзя найти ни слова, ни намека, что решение лежит за очерченными рамками. Стоит кому что-то такое сказать, как это превратит его в нерукопожатную фигуру. От него будут шарахаться, как от еретика в средние века.

Экстремалы

Решить экстраординарную задачу в сжатые сроки можно только экстраординарными методами. Эту мысль транслируют движение на базе книги анонимного автора «МЫсинергиТЫ», возникшее в России. Их стратегию отражает фраза: «Не наукой заниматься, а создавать условия для науки». Ключевой элемент — создание государства-лаборатории, где наука свободна от догм биоэтики в той же мере, в какой она сейчас свободна от религиозных догм.

Неизвестно, стоит ли за этим движением авторитет или нет. В любом случае анонимность как ход хороша как для первого варианта (авторитет), так и для второго (ноунейм). 

Российский вариант подвергается жесткой критике со стороны прогрессивной общественности за призыв ориентироваться не на ценности уходящего мира, порожденные гуманизмом и биоэтикой, а на решение проблемы. Общественность считает, что решение нужно искать в рамках гуманизма.

Общество

Никаких иных движений мысли на эту тему найти не удалось. Информационное пространство на тему ИИ наполнено двумя видам информации. Основной объем — это как заработать на ИИ, как с его помощью развлечься, переложить на него какие-то текущие задачи и прочее.

Второй информационный поток состоит из противоречивых утверждений типа: прогресс не остановить, но он будет развиваться так, что сингулярность никогда не наступит. Или еще более противоречивыми: сингулярность неизбежна, но человек сможет ее взять под контроль.

Вредители

Источниками самой вредоносной информации являются многочисленные блогеры, погруженные в тему на уровне домохозяек. Они транслируют на свои огромные аудитории успокоительное: все под контролем, поводов для волнения нет, ИИ не угрожает человеку, а напротив, несет ему блага.

Опасность в том, что они наполовину правы. ИИ действительно несет человеку огромные блага. В ближайшем будущем принесет еще больше. Но что дальше?

Абсолютное большинство популяризаторов не заходят дальше бытового масштаба. В итоге они похожи на людей, которые говорят, что героин несет огромное удовольствие. Но что дальше — не говорят. Акцента только на удовольствии в моменте. Потом героин предъявит счет.

Заключение

Если прогресс не остановить, наступление сингулярности не предотвратить. Можно обманывать самих себя, можно извлекать из ситуации сиюминутную пользу, на ситуацию это никак не влияет. Человечество на всех порах мчится на поезде в пропасть. Никакой возможности остановить поезд нет. Единственная возможность — перейти из плоскости в объем, научиться летать.

Человек в любом случае исчезнет. Только в одном случае исчезнет, как исчезает ребенок, становясь взрослым. В другом случае исчезнет как корова, превратившаяся в тушенку.