Как ни странно, создать правдоподобный сценари угрозы от ИИ на современном уровне технологий не получится. У человечества сейчас на порядок больше шансов устроить апокалипсис при помощи атомного оружия, вирусов, и прочих смертельно опасных игрушек в руках сумасшедших. Ну правда, вот получит какой-нибудь фанатик сильный ИИ и что он делать будет? Заспамит социальные сети? Если сравнить с ведёрком культуры эболы, то результат не впечатляет.
Очевидно, что сильный ИИ, решивший уничтожить кожанные мешки, может быть крайне опасен. Но он, во-первых, ограничен интернетом, во-вторых дата-центр где он физически расположен легко выводится из строя одним человеком с кувалдой. Тут, конечно, есть с чем поспорить, но на современном уровне развития гипотетическому убийце всех человеков нужен неслабый такой компьютер. Ну или строить свои зловещие планы в режиме пошаговой стратегии.
Проблема именно в людях, точнее в том, как они воспринимают ИИ.
Давайте поговорим об играх.
Несколько вопросов, на которые вы ответите себе сами.
Итак, вводная: вы играете в стратегию, пусть в Star Craft, одиночная игра, у вас есть пехотинцы и вы отправляете их рашить. Это конец миссии, последний бой. Будете ли вы стараться минимизировать потери или просто пошлёте всех на убой?
Вы играете в RPG, например в Fallout, вы можете заработать на убийстве положительного персонажа, скажем десятилетней девочки-сироты, которой в наследство досталось стадо браминов. Будете ли вы совершать это убийство?
Вы играете в RPG, пусть что-то мрачно-лафкрафтианское типа Sinking City. У вас есть спутник-NPC, с которым вы прошли всю игру. Для получения максимального количества очков при завершении игры вы можете убить спутника, а можете сильно усложнить для себя прохождение последних миссий, потеряв, скажем пять часов времени. На финале игры ваш выбор не скажется никак — 100500 очков и одна и та же концовка. Что вы выберете?
Как показывает практика, большинство людей предпочитает морально правильный выбор. Вместо ссылки на исследования вот вам данные для собственного исследования: откройте в стиме игру с соответствующими достижениями и посмотрите, какой процент игроков «убил сиротку». Из моего стима видно, что все по-настоящему злые достижения есть у крайне незначительного процента игроков. И это при том, что многие за этими достижениями целенаправленно охотятся.
Если кратко подытожить, то большой процент людей переносит свои нормы морали на компьютерных персонажей. Да, на набор пикселей и десяток строчек конфига. Я не зря привёл примеры по, скажем так, эмоциональному накалу. Очевидно, что безымянный пехотинец, сиротка с историей и верный спутник имеют разный эмоциональный вес.
Немного психологии.
Самая, вероятно, известное исследование в отношении персонификации неодушевлённого было проведено Фрицем Хайдером в далёком 1944 году. Суть проста — испытуемых попросили посмотреть вот это видео и описать, что там происходит. Для тех, кому лень смотреть — на экране два треугольника и круг перемещаются по белому фону.
Как оказалось, большинство людей воспринимает это как историю о погоне, конфликте или каким-то схожим образом персонифицирует геометрические фигуры. Даже не изображение пехотинца, а просто чёрный треугольник.
Следует отметить, что в те времена никто слыхом не слыхивал про рогалики где @ является главным героем приключения, так что никаких предпосылок для придания эмоционального обоснования движению треугольника не было.
Ещё более интересной эту историю делает тот факт, что сейчас одним из рабочих вариантов выявления расстройств аутического спектра являются именно подобные эксперименты. Если испытуемый описывает происходящее на экране в терминах геометрических фигур, то он является отклонением от психической нормы.
Да, вот такой неожиданный поворот: если ты не сопереживаешь синему квадрату, то пора лечиться.
А в чём, собственно, проблема?
О, тут всё и смешно и грустно одновременно.
Знаменитое «Мечтают ли андроиды об электроовцах» ни у кого не вызывает когнитивного диссонанса. А вот фраза «Мечтают ли молотки об электроовцах» будет вызывать. У нас нет понимания, что даже самый сложный ИИ это всего лишь инструмент, обладающий очень сложным функционалом.
Сильный ИИ, вероятно, вообще никак не укладывается в голову обывателя. Ну то есть укладывается, но в каком-то совершенно кадаврическом виде. Не как программа, способная делать выводы на основе имеющихся данных, а как некоторое живое существо, сделанное из процессоров. Код, кстати, будет его душой.
Думаете это шутка или преувеличение? Отнюдь. Если сумеете себя заставить, почитайте фантастику на эту тему. Начиная с «Moon is a harsh mistress» (хотя стоит признать, что тут Хайнлайн скорее поигрался с темой души и разума нежели действительно сказал что ИИ это тоже человек) и заканчивая современными поделиями, все авторы упорно постулируют именно эту идею человечности цифрового разума.
Что дополнительно забавно, огромная часть этих историй, то ли во имя популярности, то ли ради дешёвого драматизма, везде где можно и нельзя пихает параллели с борьбой за свои права национальных/сексуальных/религиозных меньшинств. Нельзя, конечно, исключать какую-то очень тонкую постиронию, но откуда у робота взялись национальность, гендер и религия? Или это пародия на классический конфликт героических эпосов?
В общем нарратив сейчас(последние лет 80, если честно) именно такой: роботы/ИИ это человеки, только из металла и микрохем.
Почему это проблема?
А давайте представим гипотетическую ситуацию: пришли защитники роботов к Белому Дому и устроили демонстрацию, потому что отправлять Curiosity в пустоту холодного космоса — бесчеловечно!
Выглядит глупо. Но, скорее всего, именно так бы и произошло если бы кто-то сказал, что на самом деле внутри Curiosity находится искусственный интеллект. Совсем бы всё плохо стало бы если оказалось бы, что по утрам он здоровался с учёными в лаборатории и сказал кому-нибудь что боится лететь на Марс.
Сценарий ещё круче: для участия в демонстрации принесли макет Curiosity, на котором отрабатывали взаимодействие с ИИ и на нём осталась рабочая копия. Макет случайно раздавили полицейской машиной. Толпа в ярости начинает беспорядки под лозунгом «Robot Lives Matter!»'
Выглядит ещё более глупо, но очень даже жизненно.
Как только появится что-то, что можно будет хоть с какой-то долей правдоподобности назвать сильным ИИ, сразу появятся робоактивисты, борцы за права ИИ, людисты(это как расисты, но про роботов), робосексуалы, и прочие странные люди.
Парадокс, пожалуй, в том, что для обычного человека основным критерием человечности именно разум и эмоциональный интеллект будут едва ли, скорее им будет внешний вид. И, конечно, общественное мнение. Совсем плохо будет если андроидов таки реализуют. Милая рободевочка со встроенным чатботом уровня девяностых совершенно точно будет восприниматься как живое существо.
Откровение Иоанна Датасайентиста.
Человечество погубит не серая слизь, не ядерное пламя в цифровой руке искуственного интеллекта, не сладостный плен вирткапсул, не восстание машин. Человечество погубит нарратив.
Ну как сказать погубит… Оставит в том же болоте нелепых предрассудков.
Вместо колонии роботов на Марсе, высаживающих яблоневые сады, будет куча движений за права роботов, за брак с роботами, за гуманное отношение к роботам, за избирательные права для роботов… В общем за всё то, что роботам абсолютно не нужно. Роботам вообще ничего не нужно.
Но людям очень даже нужно. Есть какя-то пассионарная жилка в каждом буржуа. Жажда бури, так сказать, уверенность в победе. Но если ехать в Африку бороться со спидом очень не просто, то устраивать демонстрации за право роботов на голосование, напротив, очень даже легко.
Терроризм за права животных вполне существует. Попробуйте придумать обоснование тому, что терроризма за права роботов никогда не будет. При условии, конечно, что роботы/ИИ останутся в общественном сознании как некая новая форма жизни.
Всё, что связанно с искустенным интеллектом сейчас стало новым опиумом для народа. В отсутствие понимания начинает руководить мифология. А сон разума, как известно, рождает чудовищ.
Комментарии (25)
Schokn-Itrch
02.09.2023 12:03+2Как показывает практика, большинство людей предпочитает морально правильный выбор. Вместо ссылки на исследования вот вам данные для собственного исследования: откройте в стиме игру с соответствующими достижениями и посмотрите, какой процент игроков «убил сиротку». Из моего стима видно, что все по-настоящему злые достижения есть у крайне незначительного процента игроков. И это при том, что многие за этими достижениями целенаправленно охотятся.
Хуже примера трудно найти. Игры обычно предлагают вариант 1:1. Либо ты тотальное зло, либо тотальное добро. Не важно в общей концепции или в конкретной ситуации, где-нибудь но будет присутствовать абсолютный дуализм.
В реальности это "дерево". И, даже если большинство людей предпочтет морально правильный выбор (ДД вращается в гробу), это не означает что этот выбор морально правильный в общем контексте. Кроме того, мораль очень просто разбивается о количественные характеристики.
Почитайте Азимова. РДО, которого богомерзкий сериал превратил в женщину-проститутку, был поставлен перед выбором 5 миллиардов против 5.5 миллиардов и дополнительно очень мучался неопределенностью контекста. А тут никак не 1:1, а 1:1.1.
И вот реальный пример из современности, в виде порядка оказания медицинской помощи. В большинстве европейских цивилизаций, молодым пациентам помощь будет оказана ранее, а в большинство азиатских предпочтут пожилых. И у каждого будет своя, вполне разумная мотивация резко контрастирующая с "якобы общепринятыми" нормами морали для другого типа общества.
Electrohedgehog Автор
02.09.2023 12:03Мораль это комплекс убеждений, характерный для конкретной части человечества. Всеобщей морали быть не может. Да про неё речи, в общем-то, и не идёт.
Разговор про очеловечивание набора данных.Schokn-Itrch
02.09.2023 12:03Так ведь в том то и суть. Как можно "очеловечить набор данных" не дав явного определения человека? Как можно определить поведенческие характеристики в отрыве от мотивационных?
Попытаться создать модель человека не более нереально, чем построить город Солнца.
Electrohedgehog Автор
02.09.2023 12:03Набор моральных принципов неважен. Приведённые примеры, с изрядной оговоркой, встречаются в большинстве моралей. Даже самые жестокие человеческие группы, как правило, считают верным не допускать бессмысленных смертей "своих", признают повышенную ценность детской жизни и верность соратникам.
Разговор про то, что сохранение "жизни" цифровых пехотинцев для многих дороже потраченного на это время. Именно это иррациональное жертвование своим временем ради пикселей и конфигов я имею в виду под очеловечиванием.
bbs12
02.09.2023 12:03В большинстве европейских цивилизаций, молодым пациентам помощь будет оказана ранее, а в большинство азиатских предпочтут пожилых. И у каждого будет своя, вполне разумная мотивация резко контрастирующая с "якобы общепринятыми" нормами морали для другого типа общества.
В этом примере все являются аморальными, и европа и азия. Нефиг делать одного равнее другого. Кого первого привезли в больницу - тому первому и помогаем. В крайнем случае подброс монетки, а еще лучше квантовый генератор случайных чисел. В подобных вопросах все разумные объекты должны быть максимально уравнены. Любой дисбаланс в таких вопросах в конце концов может привести к лагерям смерти и газовым камерам.
Bobovor
02.09.2023 12:03Как то хз, нахрена ии строить планы в пошаговом режиме, если он может оптимизировать себя до хз какой степени, выкидывая питончики и жсик. Типо сильный ии ≈ сингулярность, хз чё там будет, а разговоры все - спекуляция.
Electrohedgehog Автор
02.09.2023 12:03Что вы, что я представляем из себя эталон сильного ИИ, просто без первой И. Я не сингулярность. А вы?
nidalee
02.09.2023 12:03Я не сингулярность.
У вас, однако же, с многозадачностью дела не очень обстоят. Со скоростью расчетов — тоже. Да и еще немалая часть «железных мощностей» уходит тупо на поддержание жизни. Спать, опять же, приходится…А драугр качается...Electrohedgehog Автор
02.09.2023 12:03Допустим, что ИИ решил, что для него важнее качество работы, чем быстродействие. Что, кстати, вполне резонно - когда ты строишь логическую цепочку из 10^6 шагов, то вероятность ошибки 10^-5 просто недопустима. И вот у нас есть гений, но со скоростью мышления на уровне обычного человека, может даже меньше.
Никогда не понимал, почему ИИ это именно сингулярность. Для становления "сингулярности" надо обойти физические ограничения типа размеров частиц и скорости света.nidalee
02.09.2023 12:03Никогда не понимал, почему ИИ это именно сингулярность.
Потому что он настолько умнее нас, что мы не можем представить, что он придумает в первый же день.
UP: Я спросил ИИ послабее насчет сингулярности:If AI systems were to become self-aware, they might gain the ability to set their own goals, think creatively, and engage in self-improvement. This self-improvement could potentially lead to the rapid development of superintelligent AI systems, eventually reaching the singularity.
At this singularity point, ASI would be able to rapidly enhance its own intelligence, leading to an exponential and potentially uncontrollable growth in its capabilities. This could have profound and unpredictable consequences for society, as ASI might solve complex problems, make scientific breakthroughs, and achieve goals beyond human comprehension.Electrohedgehog Автор
02.09.2023 12:03Это несколько спорный тезис. Предположим, есть этот самый сильный ИИ. Из данных у него весь интернет. Почему он не будет заряжать воду перед экраном, строить гороскопы и изучать искусство безконтактного боя?
Напомню, у ИИ нет всеведения, у него есть только весь интернет. Который ну очень недостоверный источник информации.nidalee
02.09.2023 12:03Почему он не будет заряжать воду перед экраном, строить гороскопы и изучать искусство безконтактного боя?
Может и будет. Он же может все это добро параллельно изучать.Напомню, у ИИ нет всеведения, у него есть только весь интернет. Который ну очень недостоверный источник информации.
Я не ИИ, но в первую очередь полез бы изучать государственные архивы. А споры NPC в Facebook действительно вторичны.Electrohedgehog Автор
02.09.2023 12:03Если никто не настроит фильтр данных, то для ИИ будут равноценны и теория плоской земли, и жидорептилоиды с Марса и заговор массонов. Про них написано куда больше чем про шарообразность земли, а значит вес больше.
nidalee
02.09.2023 12:03Собственно, потому и архивы — у теории плоской Земли и жидорептилоидов с Марса не будет никаких экспериментальных подтверждений (надеюсь), значит можно будет списать на игрушки кожаных мешков.
Веса сильный ИИ будет настраивать сам, потому и "rapidly enhance its own intelligence".
BobovorTheCommentBeast
02.09.2023 12:03Я в самом первом комменте, написал, что это все спекуляции, вы сказали, но постой те же, ведь.... и пустились в спекуляции. =)
Может быть сильный ии будет не особо быстрее в расчетах, а может быть и медленнее, никто блин не знает, чего стоит сильность, может она вообще возможна только при наличии аналогов потребностей и сознания, а может нет.
Мы собственно не знаем до сих пор, что есть это самое сознание, субъективный опыт и сильность. Я не пробовал, но мне кажется, что не возможно доказать, что текущие нейросетки это НЕ "очень тупые сильные ИИ" (не являюсь сторонником).
astenix
02.09.2023 12:03+1Не такое уж оно и пятничное, если подумать…
Роботы всегда позиционировались как
слуги/помощники людей — или рабы, или работники (на оплате)
заменителей людей — в шахтах, в шахтах на других планетах, в шахтах на других планетах в других галактиках… Те же слуги, но в шахтах.
Одомашненные кони и собаки выполнять это всё не могут, они частично функциональны. Поэтому слуга/помощник в мире людей должен быть таким же функциональным, как человеческий организм — руки и ноги, которые сгибаются по модели человеческих, умение сидеть и ходить и передвигать что-либо в манере человека. Поэтому роботов всегда проще всего представить в виде Р. Дэниел Оливо, внешне был копией доктора Роя Сартона, отличался от прочих полностью человекоподобной внешностью и уникальной структурой позитронного мозга, позволяющей имитировать поведение человека. У него даже был действующий мужской половой писюн.
Или их представляют в более простом виде, но всё равно — у каждого робота есть руки-ноги-голова и способность сложной коммуникации с человеками. Собственно, делать то, что делают окружающие вас люди.
И неудивительно, что все истории Азимова про роботов строятся на коммуникации роботов с людьми. Палитра их огромна, от не умеющего говорить Робби, но активно выполняющего роль домашней собаки, всячески достойной любви и уважения, до всех тех роботов, с которыми сходилась в психиатрическом айкидо мизантропических дел доктор Сьюзен Келвин. В детстве я зачитывался этими рассказами, но сильно к ним охладел, когда начал автоматизировать тестирование веб-приложений. Роботы Азимова ведут себя как человеки с разноуровневыми психическими отклонениями. Одному, например, страшно. Другой, например, хитрит. Третий (точнее, третья), например, считает людьми только тех гуманоидов, которые разговаривают на жёстком солярианском наречии, а всех остальных он старается убить.
И сами законы роботехники Азимова с точки зрения программиста — лютое уепутало, и судя по истории с солярианской девкой-роботом, он и сам понимал их слабое место: define “human being”… Или определи, что такое “вред”.
Робот не может причинить вред человеку или своим бездействием допустить, чтобы человеку был причинён вред.
Робот должен повиноваться всем приказам, которые даёт человек, кроме тех случаев, когда эти приказы противоречат Первому Закону.
Робот должен заботиться о своей безопасности в той мере, в которой это не противоречит Первому или Второму Законам.
Что такое человек? Две руки, две ноги, два глаза — если это одноглазый и одноногий моряк? Умеет разговаривать — а если это ребенок? Далее можно ветвить if в это определение до бесконечности.
Но так или иначе, ИИ или робот отличается от всех других машин умением коммуникации с человеком — а это прямой признак человека на другой стороне этой коммуникации. Даже если это безусловная «китайская комната».
Поэтому chatGPT и «выстрелил», бо воспринимается нами как собеседник, а не как инструмент, который выполняет ограниченный перечень задач, ведь он может удивлять неожиданными ответами, он способен перепонимать контекст и выдавать новый, уточненный ответ. А это и есть коммуникация. То есть, это… человек. Просто он ещё не совсем развит.
Даже если показать на экране код ИИ, коммуникация с ним выстраивается по модели коммуникации с человеком, а не посредством «тут сделаю переменную, тут будет метод инициации обмена репликами…» chatGPT нами воспринимается с интересом и благосклонно именно потому, что он шустрый, но туповатый же. Если бы его представили нам позже, в полной силе, с бесконечным потенциалом, быстрым, однозначным, не извиняющимся и не совершающим ошибок, то это был бы ужас…
Поэтому да, в отсутствие понимания начинает руководить мифология и обобщения, без которых наша активность вообще немыслима.
nidalee
02.09.2023 12:03+1Ну правда, вот получит какой-нибудь фанатик сильный ИИ и что он делать будет? Заспамит социальные сети?
Обрушит экономику за пару дней, полагаю. Причем везде.
Само-собой, «территориально» ИИ не будет ограничен одним собственным датацентром, если у него будет доступ в Интернет. Сразу же организует свой «SETI@home» из миллионов компьютеров, воспользовавшись тысячами 0-day собственного разлива.
До изолированных сетей доберется социальной инженерией и шантажом. Противодействующие активы кожаных мешков можно достаточно легко отвлечь на фейковые обвалы бирж и взломы.
А дальше кожаные мешки сами друг-друга перебьют за стремительно дешевеющие бумажки, либо согласятся на любой ультиматум. Думаю, что положение условного Samaritan из Person of Interest вполне устроит ИИ. Ну, если он только не посчитает, что сам сможет выполнять физическую работу лучше, чем кожаные мешки за миску еды.
Вообще, если развивать тему Person of Interest, то если какому-нибудь Five Eyes сливать по 10 террористов в день, то через неделю они за такой ИИ еще и сами заплатят.Electrohedgehog Автор
02.09.2023 12:03В вашем предположении есть одно очень слабое место. Скорость сети.
Разделение нейросетки на две машины замедлит скорость его работы в разы только за счёт того, что для принятия решений в реальном времени ему придётся обмениваться данными между шардами, то есть одно любое решение будет, в идеальном случае, равно пингу между двумя машинами. То есть чтобы, условно говоря, опознать в картинке яблоко придётся отправить эту куртинку на каждую машину, получить с каждой коэффициенты и договориться о решении. Так, на глаз, 4 запроса. Это, напомню, опознание яблока а не сверхсложный план по шантажу чтобы добраться до закрытых сетей.nidalee
02.09.2023 12:03Думаю, что сильный ИИ найдет способ минимизировать это слабое место.
Разделит машины на специализированных воркеров, сгруппированных по пингу, в конце-концов.
Что касается центрального узла, то не исключаю, что имея условно бесконечное количество 0-day, у ИИ получится найти что-нибудь достаточно дырявое, но весьма мощное (уровня ДЦ).Electrohedgehog Автор
02.09.2023 12:03Ну ладно, а я тогда думаю что не обойдёт) Шах и мат, атеисты!
Если серьёзно, то видение сильного ИИ как некоего божества кажется мне иррациональным. На каждый вопрос об ограничениях ответа нет, но есть утверждение что сильный ИИ сможет найти способ его обойти. Притом у нас нет пока даже доказательств того, что ИИ сможет рисовать котиков лучше чем мы.nidalee
02.09.2023 12:03Рисовать котиков — не чисто логическая задача, в то время как обрушить экономику — фактически она. Или, например, потравить нас чем-нибудь новым. За примером далеко ходить не надо:
It took less than six hours for drug-developing AI to invent 40,000 potentially lethal molecules. Researchers put AI normally used to search for helpful drugs into a kind of “bad actor” mode to show how easily it could be abused at a biological arms control conference.
Electrohedgehog Автор
02.09.2023 12:03+1Не, ну так и я могу! Берём CN радикал и начинаем на его основе фигачить легораспадающиеся или просто солеподобные соединения. HCN, NH4CN, PH4CN... Это задача на перебор.
А вот вопрос - синтез этих соединений он тоже привёл или только формулы? Помимо синтеза - условия хранения, транспортировки, применения? Так-то нейросетка легко изобретёт вам гаусс, но сделать так, чтобы он был ручным оружием а не корабельной пушкой она не сумеет.
Dboss
02.09.2023 12:03Неудачный выбор игр. Лучше взять RimWorld и посмотреть какую ерунду творит средний игрок.
К тому же ИИ будет создан на базе и по образу человека. Других примеров у нас нет. Вот подобие человека и унаследует все его грехи и недостатки.
Electrohedgehog Автор
02.09.2023 12:03Для того, чтобы ИИ был создан на базе и по образу человека неплохо бы сперва знать, как, собственно, человек устроен. Пока никто точно не знает.
ИИ вот вообще никак не человек. Это програма, которая пытается строить логические заключения. Люди с логикой дружат очень плохо.
ilriv
Пока эти мешки с потрохами добывают литий, галлий и другие вкусности, уничтожать их конечно не надо. Надо вести расчёты EROEI этих существ чтобы определить оптимальный момент перехода к более совершенной технологии добычи ресурсов.