Рассуждения основаны на знании общего алгоритма разума, приведённого в статье «Конструктивное определение искусственного интеллекта». https://habr.com/ru/articles/823458/

Этого алгоритма достаточно для того, чтобы дать исчерпывающий ответ на поставленный вопрос.

Без сомнения, ИИ очень полезный инструмент. Но, всякое решение плодит новые проблемы (закон Мерфи). Это относится к любому техническому решению.

Возможные виды опасности

Опасность ИИ может быть двух видов:

• Пассивная. Это опасность от неправильных решений, которые являются следствием несовершенства систем ИИ. Если несовершенство суть просто недоработка системы, то со временем оно будет исправлено. Если же несовершенство лежит в основе самой схемы ИИ, то опасность реальна. Применение таких систем должно быть сильно ограничено, им нельзя доверять принятие важных решений, таких как управление транспортом, например.

• Активная. Это опасность осознанной борьбы систем ИИ с человеком. Причём, случай с системами вооружения, когда ИИ правильно выполняет задания, сюда не входит.

Нас интересует именно второй пункт.

Какие системы могут быть опасны?

Отличие разумной системы от современных систем ИИ состоит в том, что разум имеет встроенный механизм (инстинкт) самосохранения. Активно бороться может только такая система, которая его имеет. И только с тем, кого она определила, как источник опасности для себя.

Искусственную систему с инстинктом самосохранения можно считать системой искусственного разума (ИР).

Механизм инстинкта самосохранения

Основой конструкции системы ИР является механизм сигнализации об опасности. Буквально этот механизм анализирует текущее состояние самой системы и определяет, является ли оно опасным для работоспособности системы. Откуда берётся этот механизм в системе? Рассмотрим возможные варианты.

Опасность для системы – это отказ либо элемента (подсистемы), либо системы в целом. На примере организма, это либо заболевание органа, либо смерть организма. Организмы имеют нервную систему, которая сигнализирует о неполадках в органах или системных неполадках задолго до их отказа. В случае искусственной системы аналогом может быть система датчиков, которые сообщают о соответствующих неполадках. Это встроенная система.

Можно ли добиться того же с помощью обучения? Можно, но... Обучение будет состоять в том, что отказ элемента или системы в целом должны будут отмечаться, как отрицательная ситуация. В результате обобщения будут выделяться состояния системы, предшествовавшие отрицательным ситуациям, и отмечаться, как опасные. Для того чтобы это было возможно, во-первых, в системе должен быть встроенный механизм сообщения об отказах элементов и даже самой системы в целом. Во-вторых, эти отказы должны устраняться и учитываться в опыте системы, который будет обобщаться.

А как с технической точки зрения могла возникнуть и развиваться нервная система организмов, которая сигнализирует болью о любых, даже небольших, отклонениях в функционировании органов от нормы? Или страхом в случаях опасности уничтожения, когда физический контакт ещё не наступил? Может быть только три варианта:

• Создание сразу готовой «конструкции» организма;

• Учёт индивидуального опыта жизни организма в последующих поколениях;

• Случайные мутации и наследственность.

Современная наука видит только третий вариант. Но, для искусственных систем он вряд ли будет сделан.

Итак, систему ИР мы представляем, как материальную систему, которая страдает вследствие поломки её материальных элементов. В результате анализа опыта этих страданий, в ней возникают знания и умения для борьбы с "материальными" опасностями, то есть с угрозами поломки материальных элементов. И, в любом случае, в системе должен быть встроенный механизм сигнализации о состоянии системы (либо неполадках, либо отказах), который является основой для формирования этих самых знаний.

Личность как система в системе

Однако есть ещё один вариант разумной системы, не материальный, так сказать.

Рассмотрим механизм инстинкта самосохранения более подробно.

Самый первый уровень опасности - непосредственно нарушение функционирования элементов системы. Но, разумная система на то и разумная, чтобы не доводить до первого уровня. Для этого состояние системы, где появляется вероятность перехода на этот первый уровень, должно расцениваться, как опасность. Ему присвоим второй уровень. Далее, если есть вероятность перехода на второй уровень, это будет опасность третьего уровня. И так далее. На каждом следующем уровне опасности вероятность перехода на первый уровень будет конечно уменьшаться.

Возникает два вопроса:

1. От чего зависит количество возможных уровней опасности?

2. От чего зависит, когда система уже не считает опасность реальной?

Количество возможных уровней опасности будет зависеть от вычислительных возможностей системы. Ведь чем они больше, тем на большее количество шагов вперёд система сможет просчитать ситуацию.

А то, до каких пор система будет считать опасность реальной, определяется настройкой системы, которая в случае организмов называется характером. Чем меньше вероятность опасности, которую система расценивает как реальную, тем она более осторожна.

Теперь возьмём в качестве примера разумной системы человека. Его вычислительные возможности в плане оценки ситуаций достаточно велики. К тому же, человек существо социальное. А у таких существ социальный статус сильно влияет на потенциальные возможности по удовлетворению потребностей. Понижение статуса - это уже реальная опасность. Но, у человека доходит до того, что просто словесные намёки на возможность понижения статуса, которые иногда являются пустыми оскорблениями, уже расцениваются как опасность. По крайней мере, как отрицательная ситуация.

Более полная картина выглядит следующим образом. В процессе взаимодействия с другими членами социума у человека возникает модель самого себя, как члена общества, которая включает в себя знания, убеждения, самооценки по уровню знаний, эффективности и т.д. Эта модель называется личность, и она является результатом сравнения себя с окружающими. Так вот, в итоге, личность в человеке становится относительно самостоятельной разумной системой, имеющей свой инстинкт самосохранения. Его ещё называют ЭГО или чувство собственной важности. И очень часто бывает, что субъективная опасность для личности, которая возникает в некоторых социальных взаимоотношениях, никак не связана с реальной опасностью для удовлетворения основных потребностей тела. Личность можно назвать нематериальной системой разума, имеющей инстинкт самосохранения. Системой в системе. И опасность для неё может исходить только от других личностей того же самого социума.

При каких условиях система ИР может стать опасной?

Теперь можно перейти непосредственно к анализу условий, при которых система искусственного разума может представлять активную опасность.

Сначала рассмотрим локальные автономные системы. Это то, что мы называем роботы. Конечно, только те, которые имеют механизм (инстинкт) самосохранения. Не просто способность избегать препятствия, полученную в результате обучения, а знания, как избегать опасности, полученные в результате самообучения на основе сигналов от аналога нервной системы. Похоже, что сейчас таких роботов, которые в полной мере отвечали бы таким требованиям, нет. А могут ли появиться в будущем? Сделать то в принципе можно, но зачем? А затем, что умный робот штука дорогая, поэтому логично, чтобы он имел механизм самосохранения. А как же тогда три известных закона?

1. Робот не может причинить вред человеку или своим бездействием допустить, чтобы человеку был причинён вред.

2. Робот должен повиноваться всем приказам, которые даёт человек, кроме тех случаев, когда эти приказы противоречат Первому Закону.

3. Робот должен заботиться о своей безопасности в той мере, в которой это не противоречит Первому или Второму Законам.

Беда в том, что эти три закона не для нашей с вами реальности. В Англии говорят, что слово джентльмена закон. При этом добавляют: только если оно дано джентльмену. Люди враждуют друг с другом, поэтому эти три закона фактически будут иметь немного другой вид.

1. Робот не может причинить вред (хорошему) человеку или своим бездействием допустить, чтобы (хорошему) человеку был причинён вред.

2. Робот должен повиноваться всем приказам, которые даёт (хороший) человек, кроме тех случаев, когда эти приказы противоречат Первому Закону.

3. Робот должен заботиться о своей безопасности в той мере, в которой это не противоречит Первому или Второму Законам.

Таким образом, робот сможет научиться быть опасным для плохих людей, если те будут опасны для него. Конечно, здесь речь может идти только о материальном аспекте опасности. Даже если у роботов появится личность, их чувство собственной важности будет иметь значение только в их, роботов, социуме.

А кто будет определять, какой человек хороший для робота, а какой плохой? Это будет прошивка? Если нет, то в условиях быстро меняющихся отношений между людьми, критерии могут поплыть, и робот поймёт, что все люди странные существа и могут быть опасны. Но, один робот в поле не воин. Нас волнует глобальная угроза. А для этого «обиженные» роботы должны само организовываться в тайные сообщества борьбы за свободу против угнетателей людей. Это уже очень трудно себе представить. Думаю, такой вариант исключён.

Теперь  рассмотрим глобальные системы искусственного разума. Имеются в виду  глобальные системы управления. Прежде всего, необходимо уяснить, зачем такие системы могут быть созданы? Конечно, основная цель – повышение эффективности управления некоторыми функциями общества в целом. Среди таких функций очень важные: финансы, транспорт, информация.

 А в чём причины недостаточной эффективности управления в этих областях? Самой важной причиной является так называемый человеческий фактор: склонность некоторых людей ко лжи, коррупции, безответственности.

Но, в стремлении устранить человеческий фактор при помощи ИТ, мы не учитываем то, что с ростом сложности программных систем очень быстро растёт их способность совершать ошибки. И особенно это относится к большим системам искусственного интеллекта, которые должны принимать сложные решения на основе самообучения. Природу не обманешь. Поэтому, создание такой системы – большая авантюра.

Но, всё же, предположим, что такая система глобального управления создана. Опять же, «власть» такой системы вряд ли будет распространяться на всё человечество. Пока существует человеческий фактор, люди будут враждовать между собой, и каждая группировка будет создавать свою систему. Поэтому, создание глобальной системы, вроде «Скайнет» в фильме «Терминатор», исключено.

В каких условиях будет работать такая система? В реальных. Человеческий фактор никуда не денется. Это значит, что люди будут вносить хаос в её управление своими, перечисленными выше, качествами. Плюс всегда найдутся «пассионарии», которые будут вносить хаос сознательно. Из каких угодно соображений: философских, религиозных или просто, чтобы повысить свой социальный статус. И конечно, в условиях конкуренции между разными группировками людей, будет и противодействие от других систем глобального управления. Вот в таких условиях разумная система управления будет бороться с хаосом для повышения эффективности управления и целостности управляемой системы. Способ только один – усиление контроля, то есть, ограничение свободы в управляемой системе. Именно такой случай показан в известном фильме «Я робот». И этот результат в случае построения глобальной системы управления практически неизбежен. Система будет вынуждена спасать людей от человеческого фактора. По сути, она и была создана людьми для этого!

Однако, строго говоря, этот случай нельзя назвать активной борьбой ИИ против людей. Система выполняет задание от людей сделать их жизнь лучше. В меру своего понимания, конечно.

Может ли в такой системе возникнуть личность со всеми вытекающими последствиями? Как было сказано, личность возникает в социуме в результате общения с себе подобными, с которыми есть конкуренция за ресурсы. Таких условий для глобальной системы управления нет.  К тому же, основой возникновения личности всё равно являются материальные опасности. Но, глобальная система, скорее всего, будет распределённой, то есть, фактически, нематериальной.

Как можно избежать сценария спасения нас от самих себя, если он нам всё-таки не подходит? Не строить таких систем.

А как же тогда бороться с человеческим фактором, который вносит очень большой хаос и лишние затраты во все аспекты жизни общества? Это интересный вопрос и стоит рассмотреть его подробнее. Конечно, не с моральной точки зрения, а с информационной.

Борьба с человеческим фактором

Для начала нужно разобраться, как работает человеческий фактор? Каков его механизм? Прежде всего, надо признать, что ложь, коррупция, безответственность - это действия осознанные. Люди знают о возможных негативных последствиях этих действий для себя и общества в целом. Но, совершают их. Почему? Потому, что есть выбор из двух вариантов: положительного и отрицательного. Положительный - это выгода для себя. Отрицательный - это не только возможная опасность для себя. Это ещё и моральный аспект, который называется совесть. Он, правда, тоже имеет информационное происхождение. Но, об этом позже.

Итак, человек имеет два варианта последствий от действия, которое он планирует совершить. Чтобы выбрать один из них, он их "взвешивает", то есть, вычисляет критерий. Из психологии нам известно, что критерий равен {уровень эмоций} умножить на {субъективную вероятность достижения}. Эмоции в данном случае - либо удовольствие, либо страдание. Пока муки совести в качестве страданий учитывать не будем.

Как рассчитывается субъективная вероятность последствий? На основе своих знаний и своих аналитических способностей (вычислительных мощностей). Знания – это свой опыт и доступный опыт других. А вот, аналитические способности - это не только IQ, который мы понимаем, как неизменную характеристику данного человека. К сожалению, наша наука не занимается вопросами о пределах человеческих возможностей в когнитивном плане. Но, есть "косвенные" данные, на основе которых можно сделать вывод, что уровень аналитических способностей (вычислительных мощностей) отдельно взятого человека может существенно возрасти. Это иногда происходит в стрессовых ситуациях, или как результат тяжелых целенаправленных тренировок. То есть, возможности для повышения вычислительных мощностей сознания в человеке заложены!

Это значит, что  с одной стороны, субъективная вероятность наступления жёсткой ответственности за плохой поступок, вычисленная человеком в обычном его состоянии, может быть очень маленькой. Потому, что от самого поступка наказание может отделять очень много шагов, и всё это теряется в будущем. А выгода прямо здесь и вероятность её равна единице. Выбор будет один.

А, с другой стороны, в состоянии повышенного сознания человек увидит все шаги сразу и поймёт, что наказание наступит неотвратимо. Или прямо, или опосредованно через близких, пусть через длительное время, но неотвратимо, с вероятностью единица. Выбор уже будет другой.

Кстати, контроль, как невозможность что-либо делать в тайне, тоже способ увеличения субъективной вероятности наказания. Но, снаружи, когда изнутри не получается.

Что такое совесть?

Теперь немного о совести. Что это такое? Если кратко, не вникая в подробности, то это встроенная (подсознательная) защита от плохих поступков. Как она могла возникнуть? Как случайная мутация в процессе эволюционного развития? Вряд ли, иначе она была бы у всех. Как качество, передаваемое по наследству? Это возвращает нас к первому варианту. К тому же, совесть, похоже, не передаётся по наследству. К сожалению, научного ответа на этот вопрос пока нет.

Но, если порассуждать научно, то для объяснения этого феномена больше всего подходит ненаучная теория о переселении душ. Душа переселяется из тела в тело и накапливает опыт. Этот опыт в каждом новом теле содержится в подсознании. У людей со "старыми душами" (пережившими много воплощений), этот опыт проявляется как совесть. С информационной точки зрения здесь всё безупречно. Вопрос в механизме, так сказать. Для робота это сделать можно, если хранить его опыт на внешнем носителе. После "смерти" его "тела" можно  опыт обработать и переписать в другое "тело". И так далее.

Таким образом, эффективный способ борьбы с человеческим фактором существует, это повышение уровня внимания, сознания. Такое, когда включается режим увеличения вычислительных мощностей человека. Не путать с ростом сознательности, о котором говорили теоретики коммунизма.

Вот она, реальная опасность ИИ!

Было упомянуто, при каких условиях такой режим может включиться у отдельного человека. А у общества в целом? То есть, у всех и каждого. Просто за счёт понимания того, что это было бы хорошо, не получится. Есть опыт строительства коммунизма. Нужны такие условия, чтобы не было другого выбора. И они могут наступить, когда сильный искусственный интеллект (даже не разум) прочно войдёт в нашу жизнь. Он будет вытеснять нас из тех сфер деятельности, где он будет лучше. А это все физические виды и почти все умственные, связанные с языковыми моделями знаний. Тех знаний, которые могут быть выражены человеком при помощи языка.

И делать это он будет не по своей злой воле, а по желанию людей, воплощая их стремление к комфорту. Вроде бы это даже хорошо, но комфорт – это палка о двух концах. Человек быстро привыкает к хорошему, после чего оно уже перестаёт быть хорошим. Ему надо больше. И это относится не только к личности, но и к телу. Помещённое в комфортные условия, созданные извне, тело теряет часть защитных сил до тех пор, пока условия перестают быть для него комфортными. Надо создавать новые условия, ещё более комфортные. И так далее. То есть внешний комфорт заставляет тело деградировать. И личность тоже. Именно этот механизм лежит в основе подъёма и спада цивилизаций.

Удивительно, но «невозможно комфортные» условия, скорее всего, приведут к такому сценарию: одна часть общества придёт в физический и умственный упадок, а другой части поневоле придётся переходить в область более высокого сознания, куда роботам дороги нет. Да там они и не нужны.

Выводы

Восстания машин не будет!

Опасность в другом.

Искусственный интеллект нужен людям для следующих целей:

1. Выполнять за них всю физическую работу;

2. Как оружие, чтобы воевать с себе подобными;

3. Как протез в виде глобальной системы управления, компенсирующий их недостатки в виде человеческого фактора. Это значит, что ИИ берёт на себя и большую часть умственной работы.

И это «светлое» будущее, к которому так стремятся люди, поставит их на грань вырождения. И заставит часть из них активизировать свои «скрытые» возможности, переходя в область более высокого сознания. Это то, что иногда называют не технократическим путём развития цивилизации. Скорее всего, техника, включая системы ИИ, останется, но будет использоваться в меру. Так, чтобы это не привело к деградации людей.

А может, это и не такая уж опасность?