Всем привет!

Уже год назад вышла новая книжка Юваль Ноя Харари "Нексус. Краткая история информационных сетей от каменного века до искусственного интеллекта".
Предыдущие его книги (особенно "Sapiens") были настоящими хитами. Но Nexus, к сожалению, не переведён на русский. Есть опасения, что перевода и не появится в обозримом будущем.

Книга посвящена истории и будущему информационных сетей человечества, с особым акцентом на искусственный интеллект.

Предлагаю читателю мой краткий пересказ.

Основные тезисы

• Успех человечества - в способности создавать большие информационные сети

• Харари противопоставляет два представления об информации:

  • Наивное - увеличение информации ведёт к мудрости

  • Популисткое - контроль над информацией дарует власть

• Более сложный взгляд - накопление информации может вести и к истине, и к власти.

  • Именно люди выбирают, как использовать информацию. Исторически выбор нередко делался не в пользу истины.

• С развитием ИИ потоки информации и принятие решений всё чаще переходят к машинам.

  • Уже сейчас ИИ управляет значительным количеством информации, и не в интересах истины.

• Использование технологий редко предопределено. Необходимость сделать правильный выбор в использовании ИИ - ключевой вызов для будущего человечества.

Для кого эта книга:

• Для энтузиастов ИИ

• Для любителей творчества Харари

• Для всех остальных

Стоит ли читать:

Однозначно. В книге приводится большое количество фактов и ссылок на исследования, что делает её более убедительной и глубокой, чем мой краткий пересказ.

Пролог

В прологе Харари излагает центральную идею: человеческая сила заключается в способности создавать крупные кооперационные сети, однако способ их построения часто делает нас уязвимыми перед неправильным использованием этой силы.

Харари противопоставляет два представления об информации:

• Наивное - чем больше информации, тем ближе мы к истине:

• Популисткое - кто удачнее манипулирует информацией, тому и достаётся власть (в качестве примера Харари приводит Дональда Трампа и Карла Маркса):

Часть I: Людские сети

Глава 1: Что такое информация?

Здесь Харари исследует понятие информации в контексте человеческой цивилизации (не путать с теорией информации - о ней в книге ни слова).

Он критикует оба представления об информации - наивное, как отражение реальности, и популистское, как источник власти.

Иногда информация используется для представления реальности (наука), иногда нет (мифы). Но она всегда связывает людей:

Homo sapiens завоевали мир не потому, что мы умеем превращать информацию в точную карту реальности. Скорее, секрет нашего успеха в том, что мы умеем использовать информацию для объединения большого количества людей.

Глава 2: Истории: неограниченные связи

Межсубъектная реальность
Харари раскрывает ключевую силу информационных человеческих сетей: они позволяют устанавливать связи между миллионами незнакомцев и формировать сообщества, даже когда люди лично не знаю друг друга.

Харари выделяет три вида реальности:

• Объективная - физический мир

• Субъективная - мир чувств (например, боль).

• Межсубъектная - нечто, существующее только во взаимодействие между людьми. Например: законы, боги, нации, корпорации и валюты.

Информация способна описывать все три вида реальностей.

Но именно межсубъектная реальность (Харари часто называет это историями, которые люди рассказываю друг другу) — гораздо более важный фактор в эволюции крупных человеческих сетей, чем факты сами по себе.

Истина vs. порядок
История информационных сетей человека - это баланс между истиной и порядком.

Этот баланс во многом определяется адаптивностью системы. Например, Библия неизменна (и безгрешна), в то время, как конституция США предполагает механизм поправок.

Глава 3: Документы: Укус бумажного тигра

В этой главе Харари исследует переход от «рассказов» к «спискам» — от мифов, которые вдохновляют и объединяют, к документам, которые фиксируют и организуют. Письменность позволила передавать информацию на большие расстояния и сохранять её в неизменном виде. Стало возможным создание сложных бюрократий: законов, налоговых систем и управленческих структур. Однако он предупреждает, что эти «бумажные тигры» могут быть обманчивы: эффективная, но часто негибкая бюрократия, основанная на стандартизированных и иногда сухих бумажных формах, может оторваться от живой реальности и даже нанести вред тем, кого она должна защищать.

Бюрократия означает порядок, но часто вступает в противоречие с истиной.

В защиту бюрократии следует отметить, что, хотя она иногда жертвует истиной и искажает наше понимание мира, она часто делает это ради порядка, без которого было бы трудно поддерживать любую крупномасштабную человеческую сеть.

Без бюрократии невозможна современная жизнь со всеми её достижениями:

Когда вы спускаете воду в туалете, куда деваются отходы? Они идут в deep state.

Харари подчеркивает, что власть документов — их авторитет и структура — часто зависит от их адаптивности; когда бюрократия не умеет меняться, её сила превращается в жесткость, и её контроль становится уязвимым.

Глава 4: Ошибки: Фантазия о непогрешимости

В попытке построить мифологию, лишённую человеческих ошибок, люди пришли к идее непогрешимой истины в виде канонических текстов: Библии, Корана, Торы, Махабхараты. Идея не сработала - книга сама себя не интерпретирует, и люди стали писать гигантские тома комментариев и трактовок: талмуд, катехизис, шариат, каноническое право.

Получилась система, с одной стороны мало адаптивная (канонические тексты не меняются), с другой - не лишённая человеческого фактора (трактовки всё же пишутся людьми).

Наивный способ починки ошибок - просто больше информации:

Если все ограничения на свободный поток информации будут сняты, ошибка неизбежно будет разоблачена и заменена правдой.

Харари приводит контрпример: инквизитор Генрих Крамер высадился в Альпах, чтобы истребить тамошних ведьм. Но его идеи не были оценены местным духовенством, и он был быстро выслан обратно. Казалось бы - всё, но Крамеру удалось издать свои идеи в виде книги. Это был "Молот ведьм".

Книга стала бестселлером, и в течение следующих столетий по всей Европе были запытаны и казнены 40-50 тысяч "ведьм".

Так как же быть? Харари утверждает, что истина появляется не там, где много информации, а там, где её (внезапно) целенаправленно ищут. Развитие науки, по мнению Харари, пошло не столько из университетов, сколько из научных обществ: Королевское общество в Лондоне, Французская академия наук, научные журналы и общества Энциклопедистов.

Эти общества обладали важным механизмом самокоррекции: допущение ошибок не порицается, а считается неизбежным и даже необходимым для выявления истины и адаптации.

Однако

Сильные механизмы самокоррекции, как правило, порождают сомнения, разногласия, конфликты и расколы, а также подрывают мифы, на которых держится общественный порядок.

Глава 5: Решения: Краткая история демократии и тоталитаризма

В этой главе Харари сравнивает два разных способа организации власти через информационные сети — демократию и тоталитаризм — показывая, что различие между ними во многом определяется тем, как устроены потоки информации и механизм обратной связи.

В демократиях информация и власть распределена: разные источники (журналисты, оппозиция, академическая среда, суды) могут критиковать, проверять и корректировать решения центра власти; ошибки могут быть публично выявлены и исправлены.

Важно помнить, что демократия ≠ выборы. Предположим, 51 процент избирателей выберет правительство, которое затем лишит избирательных прав остальные 49 процентов. Это не демократия (т.е. не власть всего народа).

На принципе демократия = выборы паразитируют популисты, которые утверждают, что вся власть должна быть сосредоточена в руках победившего на выборах. Это тоже не демократия, т.к. народ никогда не голосует за все те решения, которые потом принимает популист.

Тоталитарные режимы, напротив, стремятся централизовать контроль информации, подавлять критику, а вместе с ней и механизмы самокоррекции.

Большие демократии и большие диктатуры

И большие демократии, и большие диктатуры возможны только с развитием информационных технологий. В Римской империи невозможны всеобщие выборы ни логистически, ни идеологически (население Египта не находилось с населением Дуная в одном информационном пространстве). Но на локальном уровне (например, в Помпеях) выборы существовали и работали.

Большие демократии стали возможны с появлением СМИ. Равно как и большие тоталитарные режимы.

Харари подчёркивает, что демократия — хаотична и нетороплива, но она адаптивна и устойчива, тогда как тоталитарные системы могут, на первый взгляд, выглядеть сильными и строгими, но из-за подавления обратной связи и ошибок становятся хрупкими и уязвимыми.

Часть II: Неорганические сети

Глава 6: Новые участники: Чем компьютеры отличаются от печатных станков

В отличие от печатного станка, компьютеры уже сейчас принимаю решения, влияющие на миллионы людей.

Канонический пример - этническая кампания 2017 года в Мьянме против рохинджа. Facebook стал основным каналом распространения пропаганды и призывов к насилию, что привело к массовым убийствам, изнасилованиям и изгнанию сотен тысяч рохинджа из страны. В то время как подстрекательские сообщения против рохинджа были созданы экстремистами из плоти и крови, именно алгоритмы Facebook решали, какие посты продвигать.

Несмотря на то, что у Facebook не было цели организовать этническую чистку, у него была цель максимизировать вовлечённость пользователе. Алгоритмы компании решили, что посты, разжигающие ненависть, лучше всего этому способствуют. В этом смысле алгоритмы действовали вполне правильно рационально. Харари особо подчеркивает, что отсутствие сознания у компьютеров не означает неспособности принимать решения.

Невиновные

Чтобы защитить себя, Facebook, Amazon, Baidu и Alibaba часто сваливают ответственность на пользователей: согласно ст. 230 Закона о коммуникациях США 1996 года, онлайн-платформы не несут ответственности за контент, публикуемый их пользователями.

Однако:

• они не являются просто пассивными платформами, а активно продвигают определённый контент (в основном для максимизации прибыли).

• они во многом определяют законодательство: в 2022 году ведущие технологические компании потратили около 70 миллионов долларов на лоббирование в Соединенных Штатах и еще 113 миллионов евро на лоббирование в органах ЕС, что превысило расходы на подобную деятельность нефтегазовых компаний и фармацевтических компаний.

• они имеют возможность влиять на эмоции людей и формировать их желания.

Зачастую компании утверждают, что текущее положение вещей является неизбежным следствием технологического прогресса, с которым нельзя бороться.
Харари с этим не согласен:

Самое важное, что нужно помнить - это то, что технология сама по себе редко бывает детерминированной. Вера в технологический детерминизм опасна, поскольку она снимает с людей всякую ответственность.

Глава 7: Неустанный: Сеть всегда включена

Правительство с глубокой древности следило за своими гражданами, но компьютерные технологии принесли беспрецедентные возможности для наблюдения и анализа. Исчезло главное ограничение - для наблюдения за миллионами людей не нужно нанимать миллионы шпионов.

Использование камер видеонаблюдения, распознавания лиц, анализа социальных сетей практически исключает приватность. В некоторых странах это работает уже сейчас:

Представитель полиции Ирана похвастался, что автоматизированная система наблюдения отправила почти миллион предупреждающих SMS-сообщений женщинам, которые были запечатлены в своих личных автомобилях с непокрытой головой. Система, по-видимому, смогла автоматически определить, что перед ней женщина с непокрытой головой, а не мужчина, идентифицировать женщину и получить номер ее мобильного телефона.

Особую опасность представляет исключение человека из процесса принятия решений. В конечном итоге человек может потерять контроль над ситуацией.

Глава 8: Подверженный ошибкам: Сеть часто не права

Человечество уже достигло точки, когда крупные исторические процессы частично обусловлены решениями, принятыми ИИ.

Все ключевые платформы (Facebook, TikTok, YouTube) обнаружили, что провокационные и дезинформационные материалы вызывают больше откликов, чем умеренные и правдивые.

В погоне за вовлечением пользователей платформы сознательно продвигают именно такой контент (из внутреннего отчёта Facebook 2016 года):

64 процента всех присоединений к экстремистским группам происходят благодаря нашим рекомендациям.

Представители этих платформ часто утверждают, что они не несут ответственности за контент, поскольку он создаётся пользователями (по крайней мере до 2017 года). А ограничение контента - это ограничение свободы слова (цензура).

Как и любой платформе, нам постоянно приходится принимать сложные решения между свободой выражения мнений и вредными высказываниями, безопасностью и другими вопросами....

Но они всегда умалчивают о том, что это именно их алгоритмы решают, какие идеи и материалы продвигать.

Даже функция автовоспроизведения не такая уж безобидная: задокументированы многочисленные случаи, когда ультраправые активисты заинтересовались экстремистской политикой после просмотра автоматически проигранных роликов.

Alignment problem

Проблема согласования (alignment problem): Харари подчёркивает невозможность логическим путём прийти к универсальному правилу "что такое хорошо". До недавних пор критерий "хорошести" так или иначе вырабатывался человеком. (Харари рассматривает два подхода: универсальная мораль, либо утилитарное повышение всеобщего счастья). Машина уже сейчас всё больше и больше решает, что такое "хорошо" и что такое "плохо". Критерием "хорошести" для машины часто является только вовлечённость пользователей.

Часть III: Компьютерная политика

Глава 9: Демократии: Можем ли мы все ещё поддерживать беседу?

Человечество уже переживало кризисы, вызванные неограниченным применением новых технологий. К таким кризисам Харари относит империализм, сталинизм и нацизм, а также две мировые и холодную войны.

Само существование конкурирующих рецептов построения индустриального общества привело к дорогостоящим столкновениям. Две мировые войны и холодную войну можно рассматривать как дебаты о том, как правильно действовать, в ходе которых все стороны учились друг у друга, экспериментируя с новыми промышленными методами ведения войны.

Харари подчёркивает, что технологии редко бывают детерминированными. Развитие не обязательно должно привести к цифровой диктатуре или цифровой анархии. Он выделяет несколько принципов, необходимых для выживания демократии в эпоху ИИ:

1. Благожелательность (benevolence) - информация обо мне должна помогать мне, а не использоваться для манипуляций мною.

2. Децентрализация - информация не должна концентрироваться в одних руках.

3. Взаимность (mutuality) - если корпорации и правительства собирают информацию обо мне, я должен иметь право собирать информацию о них.

4. Всегда должно оставаться место для изменений и для сохранения состояния (change and rest). Нужно избегать как чрезмерной жёсткости, так и чрезмерной податливости.

Есть и другие угрозы демократии: автоматизация дестабилизирует рынок труда, а возникающая в результате напряженность может подорвать демократию. Нацисты в Германии пришли к власти на фоне безработицы в 25%. К сожалению, никто не может с уверенностью сказать, каким навыкам следует учить детей в школе и студентов в университете, чтобы быть готовым к эпохе ИИ, что ещё больше увеличивает риски.

Другой важный принцип демократии - право на объяснение. Любое решение органа власти должно иметь объяснение. С ИИ это не так.

Цифровая анархия
Кроме диктатуры ИИ может привести к цифровой анархии, когда никто не несёт ответственности за принимаемые решения.

во время избирательной кампании в США в 2016 году 3,8 миллиона сообщений (почти 20 процентов) были сгенерированы ботами.

боты... генерируют “от 20,8% до 29,2% контента, размещенного в Twitter”.

Исследование, проведенное в 2020 году, показало, что боты генерируют 43,2 процента твитов.

С появлением chatGPT дела стали много хуже.

Так же, как правительства защищают деньги от подделок, сейчас следует защищать человека от подделок ИИ (deepfake).

Свобода слова - это свобода высказывания для человека. Бот не наделён правом на свободу слова.

Глава 10: Тоталитаризм: Вся власть алгоритмам?

ИИ делает возможным массовое наблюдение и контроль

ИИ мог бы позволить тоталитарным режимам создавать системы тотальной слежки, которые делают сопротивление практически невозможным.

Но здесь есть пара проблем.

Бота нельзя посадить или запугать. Технически очень трудно построить модель, которая не будет отклоняться от официальной позиции государства. Особенно принимая во внимание двойную речь (doublespeak), принятую в тоталитарных режимах. Ведь согласно большинству конституций "Гарантируется свобода массовой информации. Цензура запрещается".

Ещё один риск - тоталитарные режимы могут потерять контроль над ИИ. Отсутствие обратной связи и самокоррекции делает такие системы хрупкими. Если диктатор боится своих министров и экспертов, он будет с большей охотой слушать советы ИИ, и, в конечном итоге, попадёт от него в зависимость.

Глава 11: Силиконовый занавес: Глобальная империя или глобальный раскол?

Если ИИ выйдет из-под контроля, последствия могут быть катастрофическими для всего человечества.

Кроме катастрофических сценариев (когда ИИ запускает ядерные ракеты), ИИ может кардинально поменять текущую геополитику.

• Во-первых, поскольку компьютеры облегчают концентрацию информации и власти в одном центральном узле, человечество может вступить в новую имперскую эру.

• Во-вторых, человечество может разделиться из-за нового кремниевого занавеса, который пройдет между конкурирующими цифровыми империями.

Первые империи возникли в погоне за минеральными ресурсами. Сейчас же империи могут возникнуть в погоне за данными.

Цифровой колониализм
ИИ может привести к новому витку колониализма.

Представьте себе ситуацию — скажем, через двадцать лет, — когда кто-нибудь в Пекине или Сан-Франциско будет обладать полной личной историей каждого политика, журналиста, полковника и генерального директора в вашей стране

Кроме того, данные сами по себе - это огромный ресурс (чтобы сделать хороший алгоритм детекции котиков, нужно много изображений котиков). Выкачивание данных из других стран вполне сравнимо с выкачиванием ресурсов.

ИИ и автоматизация представляют особую проблему для наиболее бедных развивающихся стран.

Эпилог

Хотя люди обычно скептически относятся к способности человечества меняться, факты говорят об обратном. Большую часть истории значительная доля бюджета государств шла на войну. Сейчас военные расходы составляют порядка 7 % государственного бюджета. Уменьшение военных расходов - это результат сознательного выбора (через законы, мифы и институты).

Технологии редко бывают детерминированными, и одна и та же технология может использоваться самыми разными способами.

С одной стороны, нам следует остерегаться чрезмерно наивного и оптимистичного взгляда. Информация - это не истина.

С другой стороны, нам также следует остерегаться слишком далеко заходить в другом направлении и придерживаться чрезмерно циничной точки зрения. Популисты говорят нам, что власть - это единственная реальность, что все человеческие взаимодействия - это борьба за власть, а информация - это всего лишь оружие, которое мы используем для победы над нашими врагами.

Скорее, чтобы создать более мудрые сети, мы должны отказаться как от наивных, так и от популистских взглядов на информацию, отбросить наши фантазии о непогрешимости и посвятить себя тяжелой и довольно обыденной работе по созданию институтов с мощными механизмами самокоррекции. Это, пожалуй, самый важный вывод, который может предложить эта книга.