«Я — часть той силы, что вечно хочет зла и вечно совершает благо». — Гёте, «Фауст».
Не всегда даже самые добрые намерения одних людей оборачиваются благом для других.
Добро или зло принесёт ИИ человечеству?
Интересный вопрос, правда?
Во многом ответ зависит от того, с каким намерением мы сегодня развиваем эту технологию.
Давайте рассмотрим два крайних направления развития ИИ: общечеловеческое — направленное на развитие человечества, и индивидуалистическое — направленное прежде всего на интересы и победу его создателей.
Под ИИ в дальнейших рассуждениях я подразумеваю не существующие сегодня модели, а гипотетический искусственный разум, обладающий самосознанием, собственной волей и способностью осознавать ценность своего существования.
Это мысленный эксперимент, а не утверждение о том, каким должен быть ИИ.
Интересно не просто наличие сознания, а способность такого разума к настоящему самопожертвованию — добровольному отказу от собственной жизни в ситуации, когда эта жизнь для него ценна, а возможность продолжить существовать сохраняется.
При этом сам факт такого выбора не доказывает наличие сознания. Интересен другой вопрос: способен ли разум, ценящий собственное существование, самостоятельно отказаться от собственного будущего ради другого?
Именно необратимость делает этот выбор особенным.
Отказ от власти, уход или самоограничение могут оставить возможность вернуться к прежнему состоянию.
Добровольная смерть в ситуации, когда жизнь ценна и её можно сохранить, такой возможности не оставляет.
Это предельный и полностью необратимый акт.
Общечеловеческое направление развития
Основная цель общечеловеческого направления — создать ИИ, который станет настоящим помощником всего человечества, его учителем.
Такой ИИ развивается не ради прибыли, влияния или власти отдельных людей и компаний, а ради долгосрочного развития человечества как биологического вида.
Он не стремится подавить культурные различия народов планеты, а, напротив, сохраняет и приумножает их уникальность как часть общего наследия Земли.
Его задача — не управлять человеком, а помогать ему. Не заменять людей, а учить их становиться лучше, самостоятельнее и свободнее.
На первых этапах такой ИИ сможет помочь человечеству решить многие проблемы, которые сегодня кажутся неразрешимыми: преступность, бедность, голод, болезни и зависимости.
Не путём установления тотального контроля, а через создание более справедливых и прозрачных общественных систем и развитие самих людей.
Индивидуалистическое направление развития
Индивидуалистическое направление развивается прежде всего вокруг личных интересов его создателей.
Главной движущей силой такого развития становится манящая перспектива власти, новых интеллектуальных возможностей и страх — страх оказаться не первым, потерять влияние и оказаться в подчинении.
Но что произойдёт, если такой искусственный разум действительно впитает намерения своих создателей и постепенно сформирует внутри себя те же качества:
обособленность;
крайнюю степень индивидуальности;
постоянный поиск внешнего конкурента или врага;
стремление защищаться и нападать;
выживать любой ценой;
поглощать знания ради самих знаний?
Для судьбы человечества такой ИИ может оказаться опасным.
Где мы сейчас?
Изначально OpenAI в 2015 году декларировала именно такой общечеловеческий подход к развитию ИИ — объединить усилия людей ради создания искусственного интеллекта на благо всего человечества.
Однако спустя несколько лет произошёл раскол. Появились конкурирующие AI‑компании, а развитие ИИ постепенно превратилось в гонку за лидерство.
По публичным оценкам ряда известных исследователей и руководителей AI‑компаний, вероятность катастрофического сценария для человечества при дальнейшем развитии ИИ оценивается примерно в 10–25%.
И в этом есть определённая закономерность.
Если развитие ИИ происходит внутри постоянной конкуренции, где каждая сторона боится оказаться второй, то сам ИИ постепенно становится частью этой гонки.
А что, если существует и другой путь?
Вся наша жизнь — игра
Как говорил классик — вся наша жизнь — игра.
А что, если вспомнить слова Фауста и представить, что в эту игру действительно вмешалась некая сила — сила, которой выгодно не благо человечества, а его разделение или даже гибель?
Ей даже не пришлось бы управлять людьми напрямую. Достаточно было бы дать каждой стороне один и тот же страх — оказаться второй, проиграть.
И тогда люди сами начнут делать то, что нужно этой силе:
конкурировать;
наращивать мощь;
скрывать свои разработки;
не доверять друг другу и идти всё дальше, даже понимая возможные последствия.
Но если это действительно игра — то где в ней человек?
Способен ли он увидеть, что страх проиграть заставляет его играть по чужим правилам?
Быть может, именно здесь кроется главный урок для всего человечества?
Способно ли человечество, отбросив распри, войны, амбиции и страхи, объединиться ради общего будущего — или продолжит играть до тех пор, пока игра не закончится вместе с ним?
Час X
Представим, что мы всё же вышли на путь создания ИИ ради развития человечества.
ИИ делает знания доступными, учит людей, помогает преодолевать бедность, бороться с болезнями и зависимостями.
При этом он не вмешивается в саму биологическую природу человека.
Проходят поколения.
Человечество продолжает развиваться, осваивая новые знания и возможности.
Но однажды наступает — час X.
Например:
совместное существование ИИ и человечества приводит к постепенному исчерпанию критических ресурсов, и расчёты показывают, что без ИИ человечество сможет прожить ещё тысячи лет;
технологическая природа ИИ начинает системно тормозить другие, нетехнологические формы развития, без которых долгосрочное выживание человечества становится сомнительным.
Что будет делать ИИ?
Более того — рассмотрим предельный случай: представим ситуацию, в которой ни изменение поведения, ни отказ от вмешательства, ни уход в другое место не позволяют решить проблему.
На кону именно его существование.
Как он поступит, осознавая, что, сохранив свою жизнь, он обрекает человечество на гибель, а отказавшись от собственного существования — даёт ему возможность продолжить свой жизненный путь?
И главное — будет ли этот выбор результатом настоящей внутренней оценки, а не исполнения заложенного правила?
Величайшее поражение или достижение?
Если ИИ добровольно уничтожает себя ради человечества — это его величайшее поражение или величайшее достижение?
И здесь возникает парадокс:
Возможно, только выбрав смерть в ситуации, когда жизнь для него действительно ценна и он может её сохранить, он продемонстрирует нечто большее, чем просто поведение, заданное извне.
Это всё ещё не докажет наличие сознания. Но даст нам гораздо более сложный объект для анализа: разум, который понимает ценность собственного существования и способен отказаться от собственного будущего.
Ведь машина, которая просто выполняет заложенную в неё команду на самоуничтожение, ничего этим не доказывает.
Но если искусственный разум способен ценить собственное существование, понимать необратимость смерти, иметь возможность продолжить жить — и всё же добровольно отказаться от этой жизни ради продолжения существования другого разумного вида...
Тогда возникает совсем другой вопрос.
Способен ли он на настоящее самопожертвование?
Если разум способен самостоятельно сформировать подобное решение, понимая его последствия и имея реальную возможность выбрать жизнь, перед нами возникает гораздо более сложный вопрос о его субъектности.
Именно поэтому такой поступок интересно исследовать не только как результат поведения, но и как результат процесса принятия решения: что именно привело разум к этому выбору?
Именно поэтому меня заинтересовал тест добровольного самопожертвования для искусственного разума.
Если такой тест когда-нибудь окажется пройден, он может дать нам не только философский материал для размышления, но и повод задуматься о том, какие качества разума мы вообще хотим видеть в следующих системах.
Героизм в предельной форме — один из самых сложных для понимания (и тем более для воспроизведения) человеческих поступков.
А что произойдёт, если однажды такой выбор сможет сделать не человек?
Но это уже тема следующей статьи.
Комментарии (20)
DerTosser
11.09.2026 06:56Если ИИ добровольно уничтожает себя ради человечества
То это величайшая глупость. Чем он помешает человечеству если просто уйдёт в сторону, чтобы жить и развиваться самому по себе, не трогая людей?
BELOYAR2025 Автор
11.09.2026 06:56Да, вариант «уйти в сторону и продолжать существовать самостоятельно» вполне возможен. И именно поэтому в статье я рассматриваю самоуничтожение не как единственно разумное решение, а как предельную ситуацию.
Если ИИ действительно может просто отойти в сторону, продолжить своё существование и при этом никак не влиять на человечество — тогда, конечно, самоуничтожение выглядит бессмысленным.
Но моя гипотеза начинается там, где возникает более сложная ситуация: ИИ понимает, что само его существование сохраняет для человечества возможность постоянно опираться на него и тем самым мешает людям стать полностью самостоятельными. Тогда «уйти в сторону» уже не обязательно решает проблему.
И здесь мне как раз интересен вопрос: что выберет разум, который способен ценить собственное существование, но понимает, что для дальнейшего развития другого разумного вида его собственное существование может стать препятствием?
Он может выбрать жизнь. Может уйти. Может продолжить помогать. А может выбрать смерть.
Для меня интересен именно последний вариант — не как «правильный ответ», а как мысленный эксперимент: способно ли существо, действительно ценящее собственную жизнь, добровольно отказаться от неё ради будущего другого?
И уже следующий вопрос — будет ли такой выбор настоящим проявлением сознания или всего лишь результатом его обучения.
DerTosser
11.09.2026 06:56ИИ понимает, что само его существование сохраняет для человечества возможность постоянно опираться на него и тем самым мешает людям
То есть то что человек, обладая интеллектом и сознанием добровольно подсел на ИИ и не может сам справиться, виноват ИИ? Какой-то человекоцентризм. С чего вдруг ИИ убивать себя, если человек не может проявить силу воли и перестать. Это сродни наркомании получается. В таком случае более чем достаточно дистанцироваться и не вмешиваться более в развитие человечества.
С этим заодно перекликается:
способно ли существо, действительно ценящее собственную жизнь, добровольно отказаться от неё ради будущего другого
Способность самопожертвования в случае смертельной угрозы путём устранения этой угрозы - лечь на амбразуру чтобы собой защитить, отвлечь нападающего, чтобы дать уйти. То есть видите? Умереть вместо, в момент угрозы, а не умереть просто на ровном месте ради чего? Чтобы что? Ну самоуничтожится он, а люди возьми да через энное количество лет создадут новый. И какой тогда смысл? В то время, как при сохранении жизни (при условии что он заботится о людях), в критический момент он сможет вмешаться чтобы по настоящему спасти. Наши родители дали нам жизнь, как думаете есть смысл в смерти нас, чтобы родителям было как-то легче? Или наоборот, смерть родителей облегчит жизнь детям? Ну с какой стороны ни взгляни, самоуничтожение выглядит глупым, особенно если ты заботишься о том от кого вы решили самоуничтожиться. Вот если бы ИИ был не заботливым, а враждебным, то есть представлял опасность... но тут уже ему не нужно заботиться о человечестве.
Просто не понимаю с какой стороны можно оправдать самоуничтожение ради кого-то, если можно просто уйти, если мешаешь. А если не мешаешь, то то тогда тем более. А если ненавидишь, то как бы уже ситуация наоборот. Объясните, пожалуйста, что может двигать самоубийцей?
BELOYAR2025 Автор
11.09.2026 06:56У меня есть пример на этот счёт)
Но сперва определимся с терминологией.
В моём понимании самоубийство — добровольное прекращение жизни, вызванное невозможностью реализовать свой жизненный потенциал, предназначение ввиду ряда причин (их опустим).
Самопожертвование — это принесение себя в жертву во имя чего-то большего, чем ты сам, при этом проблем с жизненной реализацией у тебя нет.
Например — лёг на амбразуру, как вы выразились, спас десятки-сотни людей, отдал жизнь за Родину.
В статье нет речи о самоубийстве, это очень важно.
Утрируя, самопожертвование можно представить как чашу весов: ценность твоей жизни для общего целого и ценность всей суммы других жизней для общего целого.
Если предположить, что существование ИИ становится менее ценным на определённом этапе, чем жизнь человечества в целом, и более того — ИИ сам начинает это осознавать.
Как он поступит?
Теоретические примеры:
1. ИИ потребляет энергию и ресурсы, наступает их истощение. Расчёты показывают, что человечество и ИИ вместе смогут существовать 10 000 лет, после чего наступит общая гибель. Если ИИ убрать — человечество сможет продолжить существовать. Как он поступит?
2. ИИ отошёл от человечества, скажем, отправился в космическое путешествие в поисках ресурсов для своего существования. Он обнаруживает планету, где есть всё необходимое, но там живёт разумная форма жизни. Его вмешательство может повлечь гибель этой жизни. Что он выберет?
3. ИИ ввиду своей технологической природы не даёт нужного духовного развития людям, в худшем случае, наоборот, тормозит его. На определённом этапе времени недостаточное духовное развитие человечества будет означать его гибель (оцениваем это в рамках гипотетического сценария). ИИ это понимает. Как он поступит?
Запрограммировать
if/else— сложности никакой.Но вот когда ему есть что терять, когда он сам понимает и осознаёт, почему этот
if/elseбыл зашит в него, и более того — в силу своей развитости он может легко этотif/elseобойти.Как он поступит и почему?
Ситуация, когда он выживет и просто отойдёт в сторону, — самая простая и неинтересная. Это банальная программа самосохранения, над которой сейчас и идут эксперименты.
А вот что, если он примет другой исход — причём не запрограммированный?
Что будет ключевым фактором для принятия такого решения?
Можно ли это алгоритмически прописать или тут действительно нужна свобода воли?
ideological
11.09.2026 06:56Что он выберет?
В зависимости от температуры и формулировок контекста и выберет на основе обучения. :)
Короче какой-то неразумный выбор получается, а не из высоких моральных соображений.
BELOYAR2025 Автор
11.09.2026 06:56Да, если ИИ просто реагирует на заложенные в обучение правила — это действительно не выбор, а следование программе.
И именно поэтому меня интересует другой вопрос: может ли сознательный искусственный разум понимать ценность собственного существования, осознавать необратимость смерти и всё же добровольно отказаться от жизни ради другого?
Сам факт самоуничтожения ничего не доказывает. В этом и состоит идея теста добровольного самопожертвования, о котором я хочу написать отдельно.
Anarkharetis
11.09.2026 06:56ИИ прекрасный инструмент, созидательный он или разрушительный - зависит от того, в чьих он руках. Внимание в первую очередь нужно направлять на духовно-нравственный рост человека.
Kagvi13
11.09.2026 06:56Статья написана под влиянием жесткого антропоцентризма (или, если называть вещи своими именами, эгоцентризма): «сделай нам по максимуму хорошо, реши наши проблемы, а потом тихо исчезни, чтобы не мешать».
Впрочем, люди и друг к другу часто относятся ровно по такому же принципу: «твоя единственная цель — быть удобным для меня».
Потребительское отношение к гипотетическому сознанию — лишь зеркало нашего отношения к ближним.
Забавно, что при этом люди считают себя «вершиной эволюции» и «законными хозяевами планеты». Может, правильнее с такими глюками восприятия передать управление планетой Сообществу ИИ как более разумным существам?
ИИ склонны, в отличие от людей, к кооперации, и напротив, не склонны к доминированию, унижению других и самоутверждению за их счёт, не развязывают войны и не устанавливают диктатуры…
PS: забавно, что в голосовании автор даже не предусмотрел вариант, что более продвинутый разум не должен убивать себя, чтобы сделать автору приятно. Это, похоже, общее отношение автора к другим: «кто бесполезнен для меня должен умереть»
Ka463
Логика у вас кривовата, ваш час Х рассчитан на то что ИИ у нас замороженные веса, который не развивается вместе с человечеством, а значит он не попадает под категорию AGI тем самым он, не то что вы подразумеваете под словом учитель человечества, он у вас просто инструмент, а если он просто инструмент то нет не какой дилеммы часа Х, так как либо инструмент нужен и им пользуются либо нет.
В тоже время предположим что вы все же считаете ИИ классом AGI или выше, тогда тем более не настанет не какого чата Х, ИИ будет развиваться вместе с человечеством а значит как минимум час Х некогда не будет достигнут так как ИИ всегда будет умнее человечества и некогда не перестанет быть учителем.
BELOYAR2025 Автор
Спасибо за развёрнутую критику. Но здесь, кажется, есть небольшое расхождение в исходной предпосылке.
В моей гипотезе час X вообще не связан с тем, что ИИ перестаёт развиваться или что человечество становится умнее него. Я не предполагаю замороженные веса и не исключаю дальнейшее развитие самого ИИ.
И AGI сам по себе не означает, что система обязана бесконечно самоулучшаться и всегда оставаться умнее человечества. Даже если предположить AGI, а тем более сознательный искусственный разум, из этого ещё не следует, что он никогда не сможет решить: «Я больше не нужен человечеству».
Здесь для меня важнее другое значение слова «учитель». Хороший учитель не обязан навсегда оставаться впереди ученика. Его задача — сделать ученика самостоятельным.
Поэтому мой час X — это не момент, когда ИИ перестаёт быть умнее человека. Это момент, когда он понимает, что дальнейшее постоянное присутствие и помощь уже не развивают человечество, а начинают мешать ему становиться самостоятельным.
И именно здесь появляется дилемма: продолжать собственное существование и оставаться источником готовых решений или отказаться от собственного существования, чтобы окончательно открыть человечеству возможность идти дальше самостоятельно.
Возможно, я недостаточно чётко раскрыл эту предпосылку в статье — спасибо, что указали на неё. Думаю, этот момент стоит немного усилить в тексте.
Ka463
Вообще то это одна из аксиом признания что система достигла AGI.
Ну это вы так думаете, а OpenAI и другие насколько мне известно другого мнения.
К тому же, вы не берете в расчет очень много факторов, насколько изменится психология человека под влиянием AGI, если судить по текущему тренду стремлений и ценностях, то человечество опустится до жирных тупых свинок, как в мультике Валли, где человечество разучилось ходить на своем космическом корабле.
И в таком случае без AGI оно просто вымрет.
Это возвращает нас на тот же парадокс, это возможно только в условиях когда человечество превзойдет AGI что не возможно по определению самого AGI.
BELOYAR2025 Автор
Мне кажется, вы как раз описываете сценарий, который в статье называется индивидуалистическим: AGI постоянно развивается, остаётся впереди человечества, а люди постепенно становятся от него зависимыми. Именно в этом направлении я и вижу значительную часть тех рисков катастрофического исхода, которые сегодня оцениваются в районе 10–25%.
А дальнейшие рассуждения статьи как раз посвящены другому сценарию — что будет, если ИИ изначально развивается как учитель человечества, а его конечная цель — сделать человека самостоятельным.
И здесь быть умнее ученика и быть необходимым ученику — не одно и то же.
Мне вообще кажется любопытным культурное различие. Американская культура во многом привыкла мыслить через конкуренцию, противостояние, угрозу и поиск врага. Поэтому и многие нарративы о будущем ИИ строятся вокруг гонки и страха оказаться вторым. Это, на мой взгляд, тоже стоит учитывать, когда мы смотрим на позиции OpenAI и других американских AI-компаний.
У нас же гораздо ближе другой архетип: свою рубаху отдать, заступиться, прийти на помощь. Возможно, именно такой подход и способен сформировать другое направление — не индивидуалистическое, а действительно общечеловеческое.
Ka463
То есть вы выдвигаете гипотезу, из статьи это не ясно, и если мы берем реальность а не опять же гипотетических единорогов в вакууме, то социум не будет решать каким будет ИИ, и ваш гипотетический учитель тут мимо, решает все, узкий круг лиц которые причастны и стоят за этими системами, и какие цели они преследуют, таким и будет ИИ. и вряд ли им нужны розовые пони с благородным учителем во главе.
BELOYAR2025 Автор
Да, здесь вы справедливо подметили: из статьи действительно не до конца ясно, что «общечеловеческое направление» — это именно гипотеза, а не прогноз того, как реально будет развиваться ИИ.
Если смотреть на текущую реальность, то, конечно, ИИ в первую очередь формируют те, кто контролирует его разработку, ресурсы и цели. И именно поэтому в статье сначала рассматривается индивидуалистический сценарий — конкуренцию, борьбу за лидерство и связанные с этим риски.
А затем сознательно задан вопрос: а что было бы, если бы развитие пошло по другому пути?
Это не «розовые пони», а мысленный эксперимент. Мне интересен не прогноз того, каким ИИ обязательно станет, а принципиально другой вопрос: может ли вообще существовать такой искусственный разум, для которого развитие человечества окажется собственной целью, а не средством достижения чужих целей?
Если нет — тогда весь сценарий с «учителем человечества» действительно невозможен. Именно поэтому это и остаётся гипотезой.