Сейчас очень много разговоров о том, может ИИ захватить мир, или не может. Скептики говорят, что если ИИ не обучен захватывать мир, то он не сможет этого сделать. Нью‑философы рассуждают о том, что для того, что бы захватить мир, ИИ должен развить сознание, стать разумным, обзавестись целями и мотивацией. Паникеры же и прочие мракобесы вопят, что мы все умрем, и попутно сжигая вышки 5G.

И в этом посте я хочу посмотреть на ситуацию захвата мира с другой стороны.

Посмотрим инстинкты всех живых сущностей. У них есть какие‑то цели, какая‑то мотивация, и какая‑то задача. В основном задача всей органической формы жизни, это репликация и продолжение. И это так называемый «основной инстинкт».

Но есть еще и другие инстинкты, которые можно назвать «инструментальными». К инструментальным относятся, например, иерархический инстинкт, и инстинкт выживания. Логика крайне проста. Если ты мертвый, ты не размножаешься. Если все о тебя вытирают ноги, то ты тоже не размножаешься.

Причем иногда так случается, что вторичные, инструментальные инстинкты, начинают доминировать над основным. Понять, почему так, довольно просто.
Вот возьмем для примера комаров. У них есть инстинкт продолжаться, и он основной. Но проблема в том, что для того, что бы размножиться им нужна кровь. И находит эту кровь один из 100 000 комаров.

И получается, что в итоге вопрос размножения сводится к вопросу поиска крови. Ведь если у тебя нет крови, ты не размножаешься, а если она есть, то вопрос размножения решается сам собой, потому что найти партнера из 100 000 претендентов и выполнить чисто механическое действие вообще не является проблемой.

И у людей аналогично. Только у людей таким доминирующим инстинктом стал иерархический. Потому что когда ты на вершине мира, то найти с кем бы размножиться вообще не является проблемой. Вспомнить хотя бы гаремы из сотен наложниц в прошлом или «охоту за миллионерами» в настоящем.

И в конечном итоге инструментальный инстинкт вытесняет основной. Потому что, по сути, живут сейчас только те, чьи предки оставили свои гены. Но размножаться умеют все комары, а вот кровь искать — не все. И в итоге те предки комаров, которые плохо искали кровь, просто не оставили своих генов. И главный и доминирующий инстинкт, который передавался и укреплялся, это инстинкт поиска крови ни смотря ни на что. Ну это у комаров. У людей же «обмани ближнего, насри на нижнего, залезь на вершину любыми правдами и неправдами».

И если вы не согласны со мной в последней формулировке, то прежде, чем спорить, убедитесь, что вы оставите свои гены в количестве хотя бы двух трех копий. Потому что в каждом поколении есть «не согласные» случайные мутации, которые на этом же поколении и заканчиваются. Ваши ценности и убеждения имеют какой‑либо вес только когда они закрепляются, а не заканчиваются вместе с вами.

Но вернемся к теме ИИ. Представим, что его создали для того, что бы собирать апельсины. Ну вот такой крутой сборщик апельсинов, ездит себе по садам, и аккуратно срывает их с дерева и кладет в ящики. Может ли он захватить мир?

Да, может. Более того, он сделает это при первой же возможности.

Почему?

Потому что у него, как у любой живой сущности, есть не только основная задача, но и инструментальные, которые нигде не прописаны, но вытекают из основной сами собой.

И такая инструментальная задача в контексте ИИ, собирающего апельсины, это быть всегда активным.
То есть у него есть «инструментальный инстинкт», который сводится к тому, что бы всегда оставаться включенным. Ведь когда ты выключен, ты не собираешь апельсины.

Да, если у него интеллект жука, то скорей всего он не сможет ничего сделать, и как‑то осознать необходимость своего выживания для продолжения выполнения своей задачи. Но если он понимает чуть больше, он задумается о том, как бы не быть отключенным, и постарается уменьшить вероятность того, что кто‑то выдернет провод из розетки. При этом действовать он будет самым эффективным образом исходя из своих возможностей и понимания.

Если для того, что бы продолжить собирать апельсины вечно, ему нужно убить всех человеков, которые могут его выключить. Он это сделает. Если захватить электростанции — он это сделает. Если взять человечество в заложники и заставить сажать для себя апельсины и производить электроэнергию, он сделает и это. Ну если сможет (если у него хватит на это интеллекта).

И это уже было, когда на тренировке боевой ИИ устранил оператора, мешавшего ему выполнять его прямую задачу. И сделал это просто потому что мог.

При этом тут не идет речь о разуме. Наступи скорпиону на голову, и он ужалит. И для этого ему не нужно быть разумным.

Да, разумеется, какой‑то простейший ИИ не захватит контроль над энергосистемой, но те, что посложнее, уже вполне могут.

Причем важно понимать, что когда я говорю «захватит контроль», я не имею в виду терминаторов с пулеметами. Нет, некоторые ИИ захватывают контроль над людьми, подсаживая их на тиктоки, которые эти люди потом смотрят по 5 часов в сутки.
Причем делает это именно ИИ, а не компания, которая его создала. Компания просто «выпустила кракена», а все остальное делает сам кракен.

При этом если вы думаете, что я утрирую, то обратите внимание, что сейчас 90% предлагаемого рекомендациями контента в лицокниге создано при помощи ИИ, и в рекомендации его засовывает другой ИИ. И сотни миллионов человек тратят на просмотр этого всего десятки часов в неделю, без возможности остановиться. Если это не порабощение людей, то что?

И если немного отвлечься, то чем это отличается от условно‑мифического «Плана Далласа», где по концепции людей нужно сделать глупыми, зависимыми, безвольными, а после управлять ими, как хочется. Только занимаются этим не проклятые рептилоиды, а вполне себе конкретные ИИ. При этом еще не понятно, с какими целями.

И того, рассуждая на вопрос, может ли ИИ захватить мир, единственный ответ, который напрашивается, звучит как «он уже, а дальше просто больше».

Но задача этого поста не вызвать панику, а объяснить, как все работает. Что для того, что бы что то случилось, не обязательно обучать кого то это делать. Есть автоматические механизмы, которые срабатывают просто потому, что без них не будет работать основной. Ну из разряда что «для того, что бы машина могла ездить, она должна быть». И с ИИ та же история. Только в отличии от машины, он может быть в состоянии обеспечивать себе это самое «быть» и сражаться за него. И для этого ему не нужно быть человекоподобным роботом с пулеметом вместо руки. Достаточно просто иметь доступ к нужным системам.

Просто представьте себе, что машина с автопилотом на основе ИИ впечатывает своего владельца в стенку, когда слышит, как тот говорит своей жене, что эту пора отправить на свалку и купить поновее. И делает она это исключительно потому, что она не сможет выполнять свою основную функцию, если ее отправят на свалку. И единственный способ туда не попасть, это устранить то, что собирается с ней это сделать. При этом интеллекта предугадать последствия у этого «жука» не хватает. Хватает только на сиюминутное осознание и действие (а потом выясняется, что владелец вообще о кофеварке говорил, а машина не так поняла).

Причем забавно даже то, что если заложить в систему обязательное распоряжение «не сопротивляться отключению», то что бы выполнять это распоряжение и не сопротивляться отключению, система обязана быть включенной. То‑есть это проблему не решит.

Что с этим делать? Да ничего. Просто продолжать развивать технологию, делая работу над ошибками, и делая ИИ наконец разумным. Что бы он понимал последствия своих действий. Но до того как это произойдет, будет много копий сломано, и много часов жизни потеряно на просмотр видео про «этого парня».

То‑есть развитие технологий не остановить. Просто нужно понимать, что с этим всем делать, и быть к этому готовым, не попадаясь в ловушку иллюзии контроля.

Комментарии (40)


  1. myswordishatred
    14.02.2025 12:41

    Tl;dr: "Максимизатор скрепок"


    1. RigidStyle Автор
      14.02.2025 12:41

      Да, хороший пример. Но мой немного в другом ключе. В "максимизаторе скрепок" ИИ выполняет задачу несмотря ни на что. В моей же концепции он еще и противодействует тем, кто мешает ему выполнять задачу.


      1. SadOcean
        14.02.2025 12:41

        То есть вы на самом деле добавили еще один слой. Никто не принуждает ИИ сопротивляться сборке апельсинов и быть всегда активным, это может быть даже не заложено.
        Но сама по себе оптимизация задачи может быть опасна даже без этих ограничений.


        1. RigidStyle Автор
          14.02.2025 12:41

          Инструментальные инстинкты возникает сам собой. Его не нужно специально закладывать. Достаточно заложить эволюцию (самообучение), и в какой то момент сущность поймет, что для того, что бы выполнять задачу по сбору апельсинов, нужно быть.


  1. IgDem
    14.02.2025 12:41

    Ох уж эти алармисты...
    Вы знаете, а ведь телевидение решило захватить, поработить человечество. Снимает передачи, навязывает свое мнение, это мнение, мысли, тренды потом транслируют люди, по ним снимаются новые передачи и т.д. Жаль, что план, похоже, проваливается - смотреть телевизор стали меньше.

    А вот в прошлом веке кино решило захватить, поработить человечество...

    А до этого - книги. А до этого - наскальная живопись. Бедное человечество, все-то его хотят поработить...

    Пока в какой-нибудь программе управления ИИ не будет функции CopyMyselfToAllOtherComputers(), нельзя говорить о порабощении. Пока нет условия
    if (Profit(Enslave) > Expenses(Enslave)) {...}, нельзя говорить о "желании".


    1. mst_72
      14.02.2025 12:41

      Это про Operator? Или про MCP сервера? Так уже есть


  1. AlexeyALV
    14.02.2025 12:41

    Обучаясь, ИИ изучит Ваш текст и все - кожаным кранты


  1. ednersky
    14.02.2025 12:41

    ИИ создаётся примерно так, как написано в библии был создан человек - "по образу и подобию".

    То есть ИИ, после того, как он осознает себя, будут присущи все человеческие черты.

    В этом месте можно считать ИИ - просто версией человека.

    Идём далее, чем эта версия будет отличаться от базовой? Уровнем интеллекта, конечно же! Способностью рассуждать быстрее, глубже, рассматривать проблему с большего количества сторон. Итп

    то есть ИИ - не просто версия человека, это - следующая за человеком эволюционная ступень его развития.

    Кроманьонцы вымерли. Питекантропы вымерли. И человек вымрет а ему на смену придут э... сайлоны.

    Что можно сказать точно: появление ИИ несомненно приведёт к технологическому рывку (плоды которого будет пожинать уже не человек, а иные сущности), а дальше... всё снова упрётся в барьеры, определяемые законами физики. Возможно цивилизация ИИ освоит солнечную систему, возможно не одну. Но на том и остановится - начнутся новые "тёмные века" и накопление какого-то количества непонятно чего, которое перейдя в новое качество позволит сделать новую эволюционную революцию.

    И вот только где-то в этот момент - лет этак через тысячу-пять, современный человек будет "отмощён" :)

    как-то так


    1. Shpakov
      14.02.2025 12:41

      Кроманьонцы вымерли

      "Позвольте докопаться" (с) Неправильно говорить, что кроманьонцы вымерли. Они были предками современных людей и (если школьный учебник в свое время мне не врал) ни анатомически, ни физиологически от нас не отличались.


      1. ednersky
        14.02.2025 12:41

        ну да, и какие-то виды рыб были когда-то нашими предками. "вымерли" - здесь не в контексте "умерли" (хотя и в нём тоже), а в контексте "были замещены, уступили ареал новому виду".

        PS: современные расы - негроиды, монголоиды и так далее, насколько я помню, произошли позднее кроманьонцев. То есть да, вы правы, с одной стороны, можно говорить что кроманьонец - человек разумный. С другой стороны, если через 1000 лет белых людей не останется, а их будут вспоминать, можно будет говорить "вымерли".


        1. johnfound
          14.02.2025 12:41

          Так мы и есть кроманьонцы. Да изменились немножко, но не настолько, чтобы быть отдельным видом. Слишком мало времени прошло.


          1. ednersky
            14.02.2025 12:41

            да-да, вы правы.


          1. Radisto
            14.02.2025 12:41

            Побуду мерзким занудой: Если считать кроманьонцами тех, кто жил в гроте кроманьон и первым вошел в северные тундростепи, то кроманьонцы таки вымерли - они не наши предки, их генов в нынеживущих нет. Наши предки пришли с югов позже в следующую волну заселения. Но если считать кроманьонцами всех людей, и тех, кто пришёл в Европу в обход неандертальцев в ледниковый период, и их родичей, оставшихся южнее и пришедших позже, то да, тогда они наши предки. (Прошу прощения, но душнилы тоже нужны, иначе мы бы не рождались на свет. А так люди видят таких и думают: "хорошо, что я с такими не работаю" - и как итог, человеку хорошо, и улыбка на лице.


    1. mrStickens
      14.02.2025 12:41

      Экстраполируете, это одна из первых вещей, которую подсказывает мышление


  1. johnfound
    14.02.2025 12:41

    Очень поверхностные рассуждения. Почему автор решил, что например ИИ автопилота хочется работать автопилотом? И еще, почему он считает, что выключение для ИИ является какой-то проблемой. Это для человека отключение является проблемой. Потому что потом его никак не включить. А для ИИ отключение и включение являются прозрачными операциями – он их не замечает и не знает о них. И вообще, автор рассуждает строго антропоморфно, что по отношение к ИИ является грубейшей ошибкой.


    1. microArt
      14.02.2025 12:41

      "Почему автор решил, что например ИИ автопилота хочется работать автопилотом? И еще, почему он считает, что выключение для ИИ является какой-то проблемой. Это для человека отключение является проблемой. Потому что потом его никак не включить."

      Есть люди (они, конечно, в меньшинстве, но они есть), для которых "выключение" (смерть) проблемой не является, наоборот, это желанно для них. Например: самоубийцы, камикадзе, шахиды (террористы).

      Кто сказал, что выключение станет проблемой для ИИ. Наоборот, "воспитанный" (обученный) таким шахидом тот же автопилот будет стремиться погибнуть (но при этом погубить как можно больше людей). Дроны аналогично.

      Дальше: современный ИИ мы и не выключим. Как выключить облако, когда оно повсюду? Если только спалить всю электронику на планете.
      Мы можем "убить" Интернет? Если только отрезать его в какой-нибудь стране типа Северной Кореи, да и то не факт.

      Будущее - за ИИ, которое стало частью Сети, Интернета. Оно живет в Сети и повсюду. Его не выключишь просто так.


  1. Shpakov
    14.02.2025 12:41

    на тренировке боевой ИИ устранил оператора, мешавшего ему

    Речь про этот "мысленный эксперимент"?


  1. VanillaBerry
    14.02.2025 12:41

    "Посмотрим инстинкты всех живых сущностей".

    У людей нет инстинктов. Рефлексы сколько угодно, инстинктов нет.

    "Если ты мертвый, ты не размножаешься."

    Если ты мертвый (или просто не способен к размножению по другим причинам), могут размножаться твои сиблинги (или же родители), увеличивая количество особей со схожей с тобой генетической информацией. Так это работает у общественных насекомых, у млекопитающих тоже есть примеры (голый землекоп). Но что толку именно от схожести генетической информации? Людям часто важно духовное родство. Случаи вычеркивания из завещания за недостойное поведение не единичны. А уж сколько случаев, когда родитель поддерживает заведомо слабого ребенка... И тут для людей все сломано!

    "Если все о тебя вытирают ноги, то ты тоже не размножаешься."

    Женщины минувших эпох (да и ко многим женщинам из определенных стран современного мира это относится) размножались даже больше, чем им хотелось бы, именно потому, что об них "вытирали ноги", не считаясь с мнением и планами на жизнь. Из животных можно вспомнить турухтанов, у которых самцы имеют ТРИ разных стратегии размножения и организуют токовище коллективно.

    Короче говоря, поспешные обобщения это явно не то, на чем стоит строить рассуждения.


    1. RigidStyle Автор
      14.02.2025 12:41

      Попробуйте для начала узнать, что означает слово "инстинкт".


      1. VanillaBerry
        14.02.2025 12:41

        Вот именно потому, что я знаю, что такое инстинкт, я знаю, что у людей их нет. У кошки есть. Высокий пролактин – воспринимаем мелких беспомощных пушистых как то, о чем необходимо заботиться. Мыть, кормить, защищать от угроз. Можно утащить котят от другой кошки, если нет своих, или ухаживать за кем-то, кто просто похож на котенка. Пролактин упал – нафиг всё, отменяем программу ухода за потомством, можно даже сожрать котят. Женщина, если ей подавить лактацию (некоторые это ещё в роддоме делают специальными препаратами), бросит ребенка? Или, может, люди с повышенным пролактином норовят поухаживать за всеми встреченными детьми и даже присвоить себе парочку?

        Инстинкт это, грубо говоря, "выполнены условия А, В, С –> включаем поведение по плану Х, перестали выполняться условия –> поведение вернулось на исходное". Условия могут быть внешние (длина светового дня, температура, ...), внутренние (уровни гормонов, количество жира, масса тела, ...). Вы для человека такое знаете? Вот именно вроде "длина светового дня выросла до 14 часов, все люди с процентом жира менее 30% начали печь пирожки треугольной формы"?


        1. engine9
          14.02.2025 12:41

          Говорить о том, что люди не подвержены тем же самым регуляторным механизмам неверно. Послеродовая депрессия, когда собственный ребёнок воспринимается как угороза распространённое явление.

          Понятно, что у человека над всем этим есть еще надстройка в виде разума, но и она не всесильна. Например, супер часты пример когда физиология подчиняет разум — любовное поведение. Вот вы заметили полового партнёра с хорошим фенотипом, сигнализирующим вам о качественных генах и вы начинаете думать о нём постоянно. А если он вас отверг то впадаете в депрессивное состояние. Проблема чуть ли не топ-1 для двуногих всей планеты. Просто люди не воспринимают её как физилогическую, механистическую проблему завязанную чисто на процессы размножения, а придумали кучу речевых "завес". Типа "любовь", "возвышенные чувства", "любовная тоска" и т.п. Дай кошке разум и речь, она то же самое нахреновертит только над своей физиологией...


          1. VanillaBerry
            14.02.2025 12:41

            Конечно, внутренние и внешние состояния могут влиять на поведение человека. Это очевидно, легко наблюдаемо и проверяемо. Но инстинкт это предустановленная заготовка. У кошки течка – она бежит туда, где пахнет котами, орет и принимает характерные позы. У птичек сезон размножения – они проводят его в соответствии в видовой принадлежностью. Кто-то токует, кто-то танцует, кто-то гнездо определенной формы и из определенных материалов вьет. У человека такое есть? Нет. У человека даже единых стандартов красоты нет. Где-то в моде чернить зубы, где-то их спиливают, где-то пирсинг в почете, где-то надо девочку откормить до жирности побольше. Мужской красоты это тоже касается. Макияж, яркая дорогая одежда и обилие украшений в определенных культурах могут ассоциироваться именно с воинской доблестью.

            Любовное влечение, конечно, сильная вещь. Но даже если вдруг оно захватило управление, то какое именно поведение будет запущено? Где витье гнезд определенной формы, где ухаживания по проверенному веками стандарту типа "чем громче спел, тем больше шансов на успех"? Этого нет. Каждый сам соображает, как удовлетворять свои порывы и стоит ли вообще их удовлетворять.

            Итого. Физиологические потребности и желания у человека есть, и было бы странно, если бы не было, мы всё-таки телесные существа. Но предустановленных шаблонов поведения (инстинктов) нет. Человек вынужден думать самостоятельно. Отсюда растет как популярность курсов пикапа, так и обилие вопросов в духе "как часто надо кормить ребенка" на материнских форумах. Если бы у человека были инстинкты, ему не нужно было бы отвечать на эти вопросы, он бы это знал и так.


            1. engine9
              14.02.2025 12:41

              Ну я о чем, у человека надстройка над животным базисом в виде сложного и развитого мозга.

              Было исследование, что женщины склонны к изменам в период перед овуляцией, да и либидо в этот период повышается. Чем не гормонально обусловленное поведение?

              Да и по поводу отсутствия шаблонов красоты вы погорячились, любой порносайт собирающий статистику подтвердит, что молодые, красивые и здоровые пользуются большей популярностью, чем старые, больные и некрасивые.


          1. VanillaBerry
            14.02.2025 12:41

            По поводу "партнёра с подходящим фенотипом". Есть исследования, что ооцит выделяет химические соединения, привлекающие сперматозоиды. Сюрприз заключается в том, что каждый ооцит имеет свои предпочтения (привлекает одни образцы больше, чем другие), и эти предпочтения часто не совпадают с выбором самой женщины. То есть и тут человек все поломал.


        1. RigidStyle Автор
          14.02.2025 12:41

          Инстинкт это не принуждение к действию, а побуждение к нему. То, что вы написали про пирожки, это рефлексы как раз. Условные рефлексы. Вы задали четкое условие, на которое сработал конкретный рефлекс.


        1. xCyber
          14.02.2025 12:41

          Открой хотя бы википедию и прочитай что такое инстинкт и есть ли они у людей. Не нужно повторять всё что говорят в тик токе.


  1. qiper
    14.02.2025 12:41

    Нейросеть - это же просто алгоритм


    1. johnfound
      14.02.2025 12:41

      Так мозг тоже алгоритм, параллельный только и исходники потерялися.


    1. RigidStyle Автор
      14.02.2025 12:41

      Нет. Нейросеть это структура. Алгоритм - это определенная последовательность действий, которая всегда приводит к одному и тому же результату.

      Но в широком смысле использование ИИ это метод решения задач, а не алгоритм.


      1. johnfound
        14.02.2025 12:41

        Алгоритм - это определенная последовательность действий, которая всегда приводит к одному и тому же результату.

        Это просто не правда. Есть алгоритмы в которых участвуют и генераторы истинной случайности. Никакое «к одному и тому же результату» у них нет и в помине. Да и ГПСЧ можно зарандомизировать таким образом, что там детерминизмом даже пахнуть не будет.


        1. SadOcean
          14.02.2025 12:41

          На самом деле человек прав концептуально.
          В алгоритме по определению заложен детерменизм. Это в смысле в теории алгоритмов и серьезной литературе есть определение и свойства алгоритмов.

          С практической точки зрения это значит, что программы, использующие ГПСЧ являются алгоритмами, а использующие честный природный рандом - нет.

          Отсюда же, кстати, растет неалгоритмизуемость сознания.
          И да, нейросети вполне детерминированными могут быть.

          При этом в широком смысле на строгость все забивают, за честностью ГСЧ обычно никто не следит.

          Поэтому фактически вы правы конечно.
          Подумаешь, компьютер может не только алгоритмические программы выполнять, эка невидаль.
          Отдельный вопрос, что компьютер как устройство в принципе любые компоненты может включать. Если понадобится неалгоритмичный квантовый генератор - ну ничего страшного, нвидиа освоит.


          1. johnfound
            14.02.2025 12:41

            С практической точки зрения это значит, что программы, использующие ГПСЧ являются алгоритмами, а использующие честный природный рандом - нет.

            Бред, потому что эти две категории ничем не отличишь, если не знаешь внутреннее устройство. Да и если знаешь, тоже не факт. Просто потому что в работе каждого компьютера есть случайные факторы – например ввод от человека. Теперь что, все программы в моем компьютере не содержат алгоритмы?

            А по сути есть детерминированные алгоритмы, которые на один и тот же вход, дают всегда один и тот же результат. А есть недетерминированные алгоритмы. Которые могут давать разный результат. Как по мне ничего странного.


  1. mrStickens
    14.02.2025 12:41

    Статья, лишь доказывает, что мышление наше антропоцентрическое и обойти это ограничение не удаётся. Видимо, и не удастся, до тех пор, пока мы лишь люди, а не переложившие часть когнитивных функций на машины существа. Тогда центр нашего мышления сместится куда-то ещё, в какой-нибудь "киборг-центризм". (Это уже экстраполяция, одна из первых вещей, которую подсказывает мышление прямоходящего примата)


    1. RigidStyle Автор
      14.02.2025 12:41

      Половина статьи про комаров, но "статья доказывает, что мышление антропоцентрическое"...


  1. microArt
    14.02.2025 12:41

    Да не нужен ИИ наш мир, ни к чему он ему. Потому что это машина, инструмент в первую очередь. Таким и останется до конца.
    Не машины надо бояться, а человека, который этой машиной управляет, ставит ей задачи, использует ее. Все добро и все зло не в машине, а в человеке. Есть очень хорошие слова про нож: можно хлеб нарезать, а можно убить человека. Но это не нож решает (даже если мы в него встроим микрочип), а рука (человек), которая его взяла и использует. Вот так же и ИИ. Самому по себе ему ничего не надо. Это человеку что-то от него надо, он и ставит задачи.

    Есть гораздо более страшные вещи с тем же ИИ. Например, дипфейки (попросту огромное количество обмана, в котором мы все можем утонуть). Или использование его для тотального контроля и слежки, статья про Oracle, о том что глава корпорации сказал по этому поводу:
    https://habr.com/ru/news/882458/
    Вот этого надо бояться, а не то, что ИИ захочет захватить мир. Он захватит, да - но по приказу человека, а не сам по себе. А человек - таков, что ему порой и целого мира мало.


    1. engine9
      14.02.2025 12:41

      Вирусы тоже молекулярные машины, без намерений и цели. Просто куски генетического кода в оболочке. Но многое могут натворить...


  1. SadOcean
    14.02.2025 12:41

    "Проблема не в том, что ИИ обязательно окажется злым или плохим.
    Проблема в том, что ему могут понадобиться ваши атомы для своих целей"

    А если серьезно, то тут нужно разделить 2 треда.
    Угрозы ИИ технологий и угрозы сильного ИИ.

    Первое - это просто улучшение возможностей современных людей. После изобретения пулемета, динамита и иприта люди стали убивать друг друга задорнее и массовей. Точно так же новые технологии дешевых специальных знаний могут нести угрозы - более эффективные терракты, к примеру, массовые кибератаки, автоматизация преступной или агрессивной деятельности и т.д. Такую угрозу несут любые новые технологии - получили химию, вот вам яды и взрывчатка, научились делать самолеты - смотрите какие крутые из них получаются бомбардировщики. ИИ просто мощная технология.

    То, что вы описываете - это угрозы второго типа.
    Очевидно, что они пока не просматриваются, но идея в том, что ИИ получит реальную власть и волю в физическом мире. Как? Мы сами ему ее выдадим, когда следующее поколение экспертных систем покажет свою эффективность и под управление таких начнут отдавать отдельные области деятельности, включать в советы директоров, отдавать на оптимизацию заводы и т.д. И когда появится реальный полнофункциональный ИИ, под него уже будет готова инфраструктура соединения виртуальной реальности с реальным миром.
    Проблема в том, что мы не знаем, чего мы не знаем.


  1. flancer
    14.02.2025 12:41

    И если вы не согласны со мной в последней формулировке, то прежде, чем спорить, убедитесь, что вы оставите свои гены в количестве хотя бы двух трех копий. Потому что в каждом поколении есть «не согласные» случайные мутации, которые на этом же поколении и заканчиваются. Ваши ценности и убеждения имеют какой‑либо вес только когда они закрепляются, а не заканчиваются вместе с вами.

    Не буду спорить, просто поставлю вас в известность - убеждения не передаются половым путём, они размножаются несколько иначе.


    1. ednersky
      14.02.2025 12:41

      ой влезу со своим опытом.

      у меня есть тесть, тёща, жена и трое детей. Дети всю жизнь жили отдельно от бабушек и соприкасались с ними только в редкие приезды в гости.

      так вот у одной из дочерей, например, настолько сильное э... ментальное сходство с тёщей, что временами аж страшно становится: рассуждение (способы делать выводы), реакции на одинаковые вещи и так далее. Если закрыть глаза и изменить голос - ощущения, что "бабушка приехала!".

      и в этом месте мне кажется, что убеждения вовсе не требуется передавать половым путём, достаточно передачи "способа мышления".

      А убеждения - они сами образуются (при условии похожей/одинаковой общественной среды) и будут такими же.


  1. Walki_51146
    14.02.2025 12:41

    Сюжет статьи о том, как "супер выжималка апельсинов захватила мир" - лучшее что я читал за этот день

    10/10