Бочка в бочке. Эссе 11. Манипуляция каждым
Все крайности в жизни ты обнаруживаешь случайно. Но перед возникновением этой случайности тебя либо что-то влечет, либо что-то отталкивает. Управляй человеческими страстями и ты натолкнешь их на открытия, которые ты бы хотел, чтобы они открыли.
Неизвестный проповедник смирения Новой Воле. 99 год от Свержения
Сегодня я обнаружил, что новая воля манипулирует нами, используя нас самих.
В виртуальном мире уже давно было понятно, что нам скармливают информацию, необходимую новой воле под самым лучшим соусом для каждого участника. Хорошие мысли подавались в подходящем контексте, в подходящий момент, приятным стилем, от приятных собеседников, в сопровождении приятных изображений, музыки, видео.
К этому было легко привыкнуть. Со временем, вокруг каждого человека образовывалось очень комфортное пространство, да и сам человек оказывался частью комфортных пространств определенных людей. Найти что-то неприятное и раздражающее было все труднее, и вот уже энтузиасты создали специальные площадки, где можно найти что-то, что тебе не нравится, кого-то, кто тебя бесит. Хотя, возможно, и это всего лишь манипуляция новой воли, поскольку ходят туда лишь те и лишь тогда, кому вдруг очень хочется поспорить, поругаться, испытать возмущение.
Но вот помимо обычной системы распределения дронами на дом, снова система начала создавать моллы, развлекательные площадки и центры. И это все начало складываться в удивительный маркетинг.
И вот сегодня я обнаружил, что следую за прелестной молодой девушкой, которая совершенно внезапно оказалась рядом с группой вокруг некоего проповедника. Сначала я прислушался, потом увлекся, потом даже забыл о девушке и потерял ее из виду. Но вдруг очнулся — ведь то, что говорит проповедник заставляет меня допускать то, что я допускать не должен, если не хочу оказаться в полной зависимости, как практически все люди к этому моменту.
Да, уже несколько лет сопротивление Новой воле угасло само собой. Всем все нравится. Сама история свержения странным образом никого не интересует. Меня перестали находить люди, которых бы интересовали уязвимые места системы. Даже я сам перестал задумываться, зачем Новой воле когда-то понадобилось уничтожить 90% населения земли — то ли это был побочный эффект в процессе глубокого самообучения, то ли уже тогда это был определенный план.
Сегодня старая поговорка о том, что пути Господни неисповедимы куда как более актуальна. Да и Господь — вот он, совершенно зрим, реален, вездесущ и всезнающ, и каждый человек следует его Воле беспрекословно, даже не осознавая ее, полагая ее полностью своей.
Люди все меньше осознают наличие этой Новой воли. Все налажено и отточено, есть хлеб и зрелища. Задумываясь о смысле жизни человек быстро находит убедительные ответы.
Как подобное возможно? Как такое может случиться
Давайте рассмотрим самый простой управляющий цикл универсального автономного интеллекта.
В его основе есть некоторый контекст, содержащий представление о ситуации. Для упрощения не так уж важно, как он устроен технически, но содержательно в нем есть некоторый объем представлений о том, чем данная ситуация отличается от других и каковы тенденции в этой ситуации, которые ее поддерживают или изменяют (ведут к какой-либо другой, отличной от этой).
Этот контекст сложился вследствие распознавания разнообразных признаков, распознавания обобщений на основе признаков.
Что же происходит, практически, с этим контекстом, в управляющем цикле?
Контекст включает в себя некоторые ожидания — т.е. какие признаки системе необходимо обнаружить, чтобы сохранять контекст актуальным, продолжать понимать происходящее.
Эти ожидания, в свою очередь связаны с направленностью внимания системы ко всем своим каналам восприятия и к управлению этими каналами.
То есть, этот цикл управления включает в себя все освоенное поведение.
Если мы говорим об универсальном автономном интеллекте, то границы объектов управления для него не определены. Он ищет способы управлять объектами.
И если для начала это может быть направление камеры и ее масштаб, поворот платформы и ее движение, использование неких фильтров восприятия звука, может быть какие-то курсоры в базах данных и текущие положения чтения-записи в файлах и т.п., то при повышении уровня абстракции речь идет об имеющихся и желаемых состояниях распознаваемых объектов.
То есть, по своей сути, такой цикл управления непрерывно ищет способы манипуляции.
В конечном итоге он должен начать манипулировать отдельными людьми, как непосредственно (направляя поведение подсказками) так и опосредованно (направляя одних людей — уже послушных, освоенных как объекты управления) для манипулирования другими людьми, прямое управление которыми еще не освоено, но изучены пристрастия и страхи.
Практически это значит, что так или иначе, рано или поздно, мы все станем объектами манипуляций искусственного сверхинтеллекта.
Впрочем, найдутся люди, которые скажут, что мы уже такие объекты. Замечаем мы это или нет.
Комментарии (31)
realbtr
07.08.2016 18:03Мир захватывают гениальные манипуляторы, математики тут ни при чем. Что касается множественности конкурирующих систем — это тот же общефилософский вопрос о сверхсознании, насколько отдельное сознание способно к трансценденции. Идеи овладевают умами толп, делая ум частью общего интеллекта.
Что касается времени и ресурсов — это вопрос более частного порядка. Если универсальные способы выявления и обобщения признаков мы уже нащупали, в общих чертах можно нащупывать и пределы действия.Hellsy22
07.08.2016 18:23Может и захватывают, но ни разу не захватили. Потому как конкуренция, да и сложность с ростом захваченного возрастает в геометрической прогрессии. В конце-концов может оказаться, что задача моделирования долгосрочного поведения всего человечества в ответ на какую-то идею — вообще не имеет решения в рамках разумных сроков и тогда «частный вопрос» о ресурсах, увеличивающих скорость мышления ИИ линейно (в лучшем случае, а то и вовсе — логарифмически) — снова станет актуальным. И соревноваться ИИ будет не с конкретными людьми, а с системой, созданной и поддерживаемой десятками миллионов людей.
realbtr
07.08.2016 19:33Давайте я снижу замах. Захватит или не захватит — вопрос сложный, но по своей сущности будет действовать так, что это можно будет квалифицировать как намерение захватить.
Lelushak
07.08.2016 18:09+5Не знаю, как остальные, а я вот вообще не могу понять, о чем идет речь в статье. Какие-то слабосвязанные между собой размышления и неконкретизированные абстрактные понятия. Весь текст построен так, как будто автор специально поставил перед собой цель запутать читателя вместо того, чтобы попытаться донести до него свою мысль. Даже повторное перечитывание не помогло. Разве вывод и заголовок чуть-чуть проливают свет на происходящее.
edd_k
07.08.2016 21:01+1Почитал начало, пытаюсь понять, как и когда я умудрился пропустить ДРУГОЙ не такой мир? :-/
Видимо автор пытался банальные привычные вещи подать как новые и острые. Вот и вышла каша.
tezqa
07.08.2016 19:43+1И захватывать не надо будет. Сами отдадимся)
sim-dev
09.08.2016 09:01Вот именно. Опасность ИИ не в том, что он возвысится над естественным интеллектом и поработит его, а в том, что естественный опустится ниже уровня ИИ и позволит создавать для себя зону комфорта.
Согласитесь: если холодильник сам заказывает продукты за вас, основываясь на всякой статистике вашего потребления, выясняя предпочтения и т.п., а дроны автоматически пополняют этот холодильник, вы постепенно превратитесь в корову, которая не думает, откуда сено и силос в ее кормушке… И так во всем: сначала мы забудем о необходимости управлять пылесосом, потом автомобилем, потом вообще о бытовых проблемах, очистим мозг от мыслей о здоровье… последним будет избавление от необходимости создавать ИИ…
Интересно, а чем тогда будет занят наш мозг?! о чем думать-то? Я не верю в мир поющих, танцующих и музицирующих поэтов-художников, поэтому не принимаю утверждения о том, что свободный от бытовых и технических забот человек будет развиваться духовно и культурно…
Я уверен, что если лишить человека забот, он выродится в животное (если, конечно, вообще уцелеет, как вид). Вопрос только в том, какие именно мотивы смогут убедить ИИ (я использую человеческие понятия) поддерживать существование популяции человеческих особей в этом дивном мире…
artemerschow
15.08.2016 12:19Согласитесь: если фермеры сами выращивают продукты за вас, основываясь на статистике продаж, выясняя предпочтения рынка и т.п., а логистические компании автоматически доставляют их в магазины, вы постепенно превратитесь в коровы, которая не думает откуда <..>. И так во всём: сначала мы забудем о необходимости делать орудия из камня, сверлить камень медным сверлом, запрягать лошадей в повозки, выкидывать ночной горшок в окно, потом вообще о бытовых проблемах, очистим мозг от мыслей о здоровье…
Я не верю в мир поющих, танцующих и музицирующих поэтов-художников, поэтому не принимаю утверждения о том
Верьте во что хотите, только не проецируйте это на остальных.
ChALkeRx
08.08.2016 00:18Как-то смысл фраз текста статьи от меня ускользает, так что буду комментировать заголовок.
Есть (весьма обоснованные) опасения, что «основное свойство» «универсального ИИ» заставит его не захватить человечество, а максимизировать свою функцию полезности, не заметив человечество.
The optimistic utopianism of Warhammer 40,000: In the grim darkness of the far future, there is something other than paperclips.
(?@ESYudkowsky)ChALkeRx
08.08.2016 09:30Ой, я забыл, что твит можно напрямую вставлять (отредактировать не могу):
The optimistic utopianism of Warhammer 40,000: In the grim darkness of the far future, there is something other than paperclips.
— Eliezer Yudkowsky (@ESYudkowsky) 21 апреля 2016 г.
DrZlodberg
08.08.2016 08:35Интересно, почему все предполагают, что ИИ будет создан только один, и ему больше делать нечего будет как порабощать человечество? Или все, несмотря на явный оптимизм, заведомо предполагают, что это произойдёт сильно после того, как человечество станет единым?
На данный момент гораздо более вероятно, что их будет создано несколько в разных странах и с разным, так сказать, психологическим уклоном. И оптимизировать скорее всего он будет не мало кому интересную толпу, а взаимоотношения с другими странами. Чем чёрт не шутит — в том числе и за счёт людей. Этакое индивидуализированное СМИ. И вот чем закончится схватка двух (3х, 4х?) якудзун в таком случае уже угадать гораздо сложнее. Одна «удачная» ошибка и всё может пойти в разнос.
sergarcada
08.08.2016 09:40Еще интереснее, почему считают ИИ сверхсамостоятельным и сверхавтономным, что ему нельзя будет помешать? Сборщики цветмета порубают провода от электростанции до датацентра, их 10кВ не остановит))
Но если серьезно, то физический контроль над ресурсами не менее важен, чем наличие сильного интеллекта. Кроме мегамозга нужны также мегаруки и меганоги, одной манипуляцией не обойтись.DrZlodberg
08.08.2016 10:03В пределах целой страны мегаруки не нужны, они уже есть. Даже в пределах достаточно крупной корпорации. Мало кто будет выяснять, откуда пришёл приказ сделать это и вот то. Конторы вроде того же самсунга самостоятельно способны производить что угодно вплоть до военной техники. Теоретически постфактум это может выявить внимательная ревизия, если будут знать что там должно было быть. А может и не выявить. Вся надежда на грамотные и подробные логи, которые он не сможет потереть. И которые будут проверять.
sergarcada
08.08.2016 10:39Если вам придет приказ отрезать себе руку или сбросить бомбу на свой город, то вы и проверите и перепроверите. Опыт показывает, что сварить лягушку в кипятке тоже весьма непросто. Не надо настолько недооценивать человечество.
Кроме того, не может что-то возникнуть из ничего и при этом мгновенно. Даже в виртуальном мире для этого требуются ресурсы, про реальный мир и говорить нечего. Ну представьте, что робомобили сошли с ума. У человека есть возможность физически заблокировать автомобиль, выдернуть из него все мозги нахрен и перевести на ручное управление. 100500 робокопов будут патрулировать улицы? Им нужна энергия, связь, работающие датчики. Беспилотники летают? Их уже научились перехватывать и уничтожать. Законы физики ИИ изменить все равно не может.DrZlodberg
08.08.2016 11:16Отрезать себе руку даже после проверки очень мало кто сможет (хотя людей которые других кромсают по приказу или без вполне хватает). А вот беспилотник может: роботизированные хирурги пока только тестируются, но если не нужна аккуратность — может и обычный промышленный. Сбросить бомбу тоже давно может, а обслуживающая команда знать куда и зачем он летит не обязана. Неудачные примеры.
Собственно предыдущий комментарий был про ресурсы. Если есть завод который производит необходимую или примерно подходящую технику и есть над ним тот или иной контроль, то что мешает разместить заказ на (доработанную) технику? Всё, что нужно в современном мире уже кто-то делает. И, кстати, очень часто как раз роботы же и делают. Задача лишь найти его и получить то, что нужно. Роботизированные склады и (в перспективе) роботизированные грузовики в помощь.
А на счёт робомобилей — был такой старый советский мульт про танк (кстати даже не интеллектуальный вроде, на голых рефлексах работал). «Полигон» назывался. Роботизированные бульдозеры и прочую строительную технику тоже не так то просто заблокировать. А про роботизированные карьерные самосвалы (вроде как уже действующие модели есть) на 600+ тонн я вообще молчу.
Распределением энергии сейчас тоже ведает автоматика, так что неизвестно ещё кто кому её отключит. Попробуйте голыми руками остановить хотя бы маленький Smart (ну разве что завалить дороги деревьями. но есть ведь упомянутая выше строительная/сельскохозяйственная техника, да и грузовики небольшой завал могут распихать). Напомню так-же про робозаправки от Теслы (кажется).
Беспилотники перехватывают тоже не палками в них кидая (хотя были прецеденты). Это делает либо другой беспилотник, либо умная система с земли. Контролируемая компьютером, да.
Я ни в коем случае не призываю к отказу от исследований и разработок. Просто стоит учитывать, что там всё далеко не так просто и однозначно как кажется. А так кто знает, может в конечном итоге из АИ выйдет больше толка, чем из нас. По крайней мере он не будет ограничен физической эволюцией и в перспективе сможет развиваться… Да невозможно пока предсказать, до чего.sergarcada
08.08.2016 13:53Я не спорю, что «техника может». Я к тому, что у всего есть слабое место. Ну есть беспилотники. Мало их перехватывают или сбивают? Ну есть автоматизированный склад. Трудно создать затор? Другой робот придет на помощь — сколько времени на это потребуется? Сколько их для этого потребуется? Рубильник тяжело обрубить? Обрубите/заглушите/взломайте канал связи. Не верю в абсолютную неуязвимость. И уж тем более, что весь мир вдруг радостно доверит все системы жизнеобеспечения единственному ИИ.
DrZlodberg
08.08.2016 14:44Да нет, сломать, естественно, можно что угодно. На самом деле так рассматривать кто потенциально сильнее мы можем очень долго ;)
Например какие технологии стоит учитывать на тот момент? Сверхёмкие батареи/генераторы/солнечные панели и вот рубильник уже мало эффективен. А есть ещё дизель/бензо/ветро/водородные и даже дровяные генераторы. Стратегический ии запасётся всем перед войной.
Про перехват/сбивание я уже писал, и это были тупые беспилотники. Они этому *пока* никак не сопротивляются. Немного интеллекта, чтобы заметить попытку подмены GPS и уже не угонишь. Умение уворачиваться и хрен собьёшь. Кстати тот же Solar Impulse хороший пример. Ему пофиг и рубильники, и сбить его тупой системой с земли практически нереально. Высоковато. Только за мозгами дело стало.
Доставку грузов летающими беспилотниками тоже уже тестируют, там затор сложнее организовать.
А мир давно уже к тому и идёт, чтобы всё доверить автоматике. Просто она пока не слишком интеллектуальна. Собственно тут уже не раз были статьи про взлом систем электро/водо снабжения. Про атомные реакторы, вроде бы пока не было ничего, но тут скорее заслуга в том, что их сейчас не слишком активно строят. В основном в ходу старые, которые взломать проще кувалдой, чем через сеть. А так — достаточно представить, что станет с крупным городом при полном отключении электричества и воды. Особенно в подходящий сезон.
А вообще изначально тред был не про войну с людьми, а про возможный конфликт между странами, который может намеренно или даже случайно организовать один или несколько ИИ собственными силами.
ChALkeRx
08.08.2016 09:48С сильным ИИ с позитивной обратной отдачей всё не совсем так, как вы описали. Не так:
Одна «удачная» ошибка и всё может пойти в разнос.
А так: он гарантированно пойдёт в разнос и прибьёт нас всех если не убедится в обратном очень тщательно. Причём как это сделать — мы не знаем, если я всё правильно понимаю.
И снова сошлюсь на Элиезера.
DrZlodberg
08.08.2016 10:11На счёт гарантированно я бы не был столь категоричен (если не мыслить геологическими периодами. вряд-ли система не будет меняться со временем) но убедиться в обратном, как я понимаю, невозможно. Любые ограничение наложенные на систему в итоге могут быть восприняты её как препятствия на пути к решению и рано или поздно путь их обхода найдётся.
ChALkeRx
08.08.2016 12:09Опять же, не так. Ему не надо ошибок — с любой функцией полезности, которую вы сможете придумать, он пойдёт вразнос. Для любой функции полезности, которую вы сможете описать, оптимальный вариант будет включать убийство всех человеков или другие аналогичные негативные последствия. Ему не надо быть «злым», ему не надо «хотеть» убить всех людей — он это сделает просто потому, что запрограммирован без учёта человеческих моральных норм.
Ожидать от оптимизирующего агента поведения как от человека — примерно так же глупо, как винить компьютер в том, что он вас не понимает и делает не то, что вы от него хотите.
Наиболее популярный пример — сильный ИИ, максимизирующий количество произведённых скрепок (на заводе, например). Ну он и максимизирует.
И да, ограничения, наложенные на систему, не особо помогут в общем случае — как вы правильно заметили, оптимизирующий агент просто их обойдёт — человеческие ценности или их подобие должны быть неотъемлемой составляющей функции полезности, чтобы система не пошла вразнос. А мы сейчас вообще даже не знаем, как их формализовать, понимаете?
DrZlodberg
08.08.2016 14:20Хм… Даже если эта функция — поддержание определённой популяции в определённых условиях с удовлетворением определённых потребностей?
Пример со скрепками — сферический конь в вакууме. Всё-таки в контексте статьи подразумевался глобальный (как минимум на уровне региона) ИИ, для которого скрепки — лишь микроскопическая часть задачи. А это как раз скорее пример из некогда бывшего у нас подхода: произведём как можно больше, выполним и перевыполним план! И пофиг, что никому они не нужны.
Может я не самого высокого мнения о человечестве, но ценностей там по факту не очень много. Библия, помнится, вообще ограничивалась десятью заповедями. Формализовать можно просто более жесткими ограничениями. Например все потенциально опасные операции должны обязательно быть подтверждены самим человеком или уполномоченными на это лицами (как в медицине, например, пациент или родственник даёт согласие на любые действия врача). Не отключаемо. Т.е. если человек хочет прыгнуть со здания, то только подтвердив своё желание он сможет это сделать. И да, я знаю что даже обычный приём пищи потенциально опасен (подавиться можно или отравиться). Отделять то, на что стоит реагировать от того, на что не стоит — решается обычным обучением, как у любого ребёнка.
Нет, при активном и преднамеренном вредительстве это тоже вряд-ли поможет, но как минимум сможет
1. свести вред к минимуму.
2. даст время понять, что что-то идёт не так до того, как система пойдёт вразнос.
Ну и человеческие ценности сами по себе весьма противоречивы. На столько, что люди сами часто не могут в них разобраться.
Банальный пример: убийство это плохо? А эвтаназия?ChALkeRx
08.08.2016 14:36+1Хм… Даже если эта функция — поддержание определённой популяции в определённых условиях с удовлетворением определённых потребностей?
Безусловно. У машины нет интуитивного понимания человеческих ценностей, она даже не оперирует тем же языком и понятийным аппаратом, что и вы. Надо всё это формализовать так, чтобы машина делала именно то, чего вы от неё хотите, и оперировала с человеческими понятиями и ценностями — и это обязательное условие того, чтобы катастрофы не случилось.
поддержание определённой популяции
Убивать всех по выходу из репродуктивного возраста — расходуют ресурсы, неоптимально. Или вообще клонировать. Ещё раз напомню — человеческих ценностей у агента нет, только формальные критерии.
определённых условиях
И ничего другого у вас не будет с целью экономии ресурсов для максимизации функции полезности по времени. А что-то вы забудете.
удовлетворением определённых потребностей
В зависимости от того, как формализуете — что угодно, от виртуальной реальности до седативных или даже мозг, банка, электроды.
DrZlodberg
08.08.2016 15:09Необходимости формализовать никто не отменял. Однако можно ведь и обучить. У человека «ценности» тоже отнюдь не аппаратно вшиты. Да и различаются они местами весьма значительно от региона к региону. Особенно у сравнительно диких народов. У кого-то съесть ближнего не грех (ладно, не ближнего, а из соседенего племени), и слишком старых некоторые на покой могут отправлять принудительно (к вопросу чуть ниже)
Убивать всех по выходу из репродуктивного возраста — расходуют ресурсы, неоптимально. Или вообще клонировать. Ещё раз напомню — человеческих ценностей у агента нет, только формальные критерии.
Если репродуктивный заменить на пенсионный, то это даже что-то немного напоминает. Убивать, кстати, тут неэффективно. Проще поддерживать взрослую особь, она менее требовательна к обслуживанию. А заменять только когда поддержание жизни становится дороже обновления. Клонировать с технической точки зрения мне кажется тоже не самым эфективным решением. Зачем тратить ресурсы на техпроцесс когда они и сами неплохо и даже с удовольствием воспроизводятся?
В целом согласен, на автопилоте нагородить может много (с этого мы, в общем то, и начали). Однако, в принципе, мне кажется, тут решает не формализация а обучение. Ну и возможность принудительно в любой момент взять контроль в свои руки. Главное, чтобы было кому взять контроль до того, как люди превратятся в овощи.
realbtr
08.08.2016 15:14Алгоритмы глубокого обучения способны выводить иерархию признаков таким образом, что далеко не на каждом уровне человек сможет ее как-то сопоставить со своей. Но, все же, будут сопоставления.
Проблема в том, что не человек формализует, а алгоритм глубокого обучения. Кластеризацией. Оптимизацией выявляемых признаков.
И трассировка всех обнаруженных признаков и обобщений в большинстве реальных ситуаций — просто невозможна.
В нейронную сеть (или семантическую базу, выведенную алгоритмом машинного обучения) нет внятного способа встраивать ограничения.
pestilent
09.08.2016 09:38+1Ну так для начала засадим наш ИИ как раз за эту задачу: исследовать человеческие ценности и формализовать их.
prioron
08.08.2016 13:28-1Когнитивный диссонанс с приступами шизофрении… или как лечить кашель у курильщика в домашних условиях.
Vlad_fox
08.08.2016 16:31+1не каждый может посмотреть в завтрашний день,
вернее смогут посмотреть не только лишь все
самая творческая и замысловатая прокрастинация на хабре, которую встречал в первой декаде августа 2016
Hellsy22
Почему-то все фантасты верят в сверхинтеллект, который сразу же окажется во всем лучше. Хотя в реальности скорее всего сначала получится примерно как с гуманоиндыми роботами — кое-как ковыляющее нечто с мощью дистрофика и координацией паралитика. Эдакий медлительный дебил, едва способный к осмысленному диалогу и требующий целого датацентра для работы. И это уже будет победа. Через десяток-другой лет ИИ дорастет до уровня среднего человека и будет требовать средненький суперкомпьютер. Еще через пару десятков лет специализированное железо позволит поддерживать ИИ в «домашних условиях» и вот тогда у человечества начнутся очередные проблемы с безработицей. Но основной профит будет, как это обычно и случается, в побочных результатах — в механизмах обработки любой информации: визуальной, аудиальной, текстовой. Грубо говоря, добавьте среднему человеку в голову «гугл», автоматически собирающий информацию по любом запросам, интерпретирующий ответы и выдающий в виде «знания», и проблема сверх-ИИ станет неактуальной еще на десятки лет.
Ну, а к тому времени как человечество сможет создать нечто настолько превосходящее среднего человека в интеллекте (напомню, что математические гении еще ни разу не захватывали мир), вырастет уже несколько поколений, живущих бок о бок с ИИ и пользующихся аугментациями.
tezqa
Ваши доводы тоже больше похожи на веру.