Конференция DEFCON 25. Гарри Каспаров. «Последняя битва мозга». Часть 1

Я думаю, что проблема не в том, что машины заменят человека на его рабочем месте, в том числе и в интеллектуальной сфере деятельности, и не в том, что компьютеры будто бы ополчились против людей с высшим образованием и аккаунтом в Twitter. Внедрение ИИ происходит совсем не быстро, а наоборот, слишком медленно. Почему? Потому что это нормальный цикл развития человечества, и мы просто не осознаем, что видимое нами разрушение означает внедрение новой технологии, которая, прежде чем создать новые рабочие места, уничтожает старые.



Технологии разрушают устаревшие отрасли и создают новые, таков процесс созидания, таков цикл развития. Если вы пробуете затянуть агонию, вставляя в этот процесс старые технологии или создавая какие-то преимущества для устаревших технологий, вы просто замедлите процесс и сделаете его более болезненным. Это все равно произойдет, но проблема состоит в том, что мы занимаемся «зарегулированием» процесса, создавая правила, которые сознательно его замедляют. Я считаю это большей проблемой, чем те, которые мы осознаем более отчетливо. Это больше психологическая проблема, когда люди задаются вопросом: «как можно чувствовать себя в безопасности, находясь в беспилотном автомобиле»?

Я заглянул в историю и узнал, что сто лет назад одним из самых мощных профсоюзов в Нью-Йорке был профсоюз лифтеров, объединявший 17 тысяч работников. Кстати, в то время уже существовала технология, когда можно было просто нажать на кнопку – и готово, но люди ей не доверяли! Это просто ужас – самому нажимать кнопку, чтобы вызвать лифт! Знаете, почему этот профсоюз «скончался» и люди сами принялись пользоваться кнопками? Потому что однажды лифтеры решились на забастовку. Они устроили забастовку, и тогда люди, которым надо было подняться на вершину Эмпайр-стейт-билдинг, рискнули собственноручно понажимать кнопки.



Вспомните, что 20-30 лет назад говорили про детей или внуков, когда они садились за руль автомобиля: «это ужасно, вы только посмотрите статистику, ведь автомобили — одна из главных причин человеческой смертности, как же они могут рисковать своей жизнью?»

Так вот, все это чистая психология. Мы практически не обращаем внимания на то, сколько людей погибают в автомобильных авариях, но стоит одному человеку погибнуть от беспилотного автомобиля, как это событие раздувается до небес. Любой глюк, любая ошибка технологий искусственного интеллекта тут же освещается на первых страницах газет. Но посмотрите на статистику, посмотрите на число инцидентов, и вы увидите, насколько это крошечный процент от общего числа аварий. Поэтому человеческое сообщество победит, только если сможет двигаться вперед, не будучи парализованным подобными страхами.

Другой вопрос возникает, когда мы говорим о фейковых новостях или кибербезопасности, это очень политизированные темы, и мне поступает множество звонков с вопросом, как я борюсь с ненавистниками ИИ. Например, я веду регулярный блог, и в моей новой заметке, которая будет опубликована через пару дней, речь идет о ненависти и о том, что спасение от ненависти состоит в знаниях, в обучении. Мы просто должны понимать, что эта проблема существовала задолго до того, как были изобретены все эти вещи, просто сейчас её значение возросло благодаря интернету, который охватывает миллионы и миллиарды людей.

Я думаю, что это наоборот хорошо, когда кто-то пытается остановить прогресс, пытаясь объявить ИИ вне закона, и ты знаешь, что это не сработает, потому что у нас есть Путин и прочие плохие парни, где бы они не находились, которые используют против нас наши же собственные технологии, созданные в свободном мире. Поэтому я считаю, что мы должны просто принять это как данность.

Суть проблемы заключена только в нас, и ответы на вопросы заключены внутри нас, в нашей собственной силе и нашей собственной уверенности. Я утверждаю, что интеллектуальные машины не способны сделать нас «устаревшими». Однако нужно помнить, что имеются определенные ограничения относительно сотрудничества человека и компьютера, причем в значительной мере это просто слухи, которые существовали и раньше. Как всегда, это просто новые возможности, которые разрушают старый мир и создают новый, и чем дальше мы продвинемся вперед, тем в лучшем положении окажемся.

Сейчас это больше всего напоминает движение в мир научной фантастики. Парадокс заключается в том, что если мы обернемся на 50-60 лет назад, то увидим, что в те времена научная фантастика была абсолютно позитивной, она была сплошной утопией. Однако затем состоялся постепенный переход от утопии к антиутопии, таким образом, что мы больше не хотим ничего слышать о будущем человечества.



Это случилось не за одну ночь. Было время, когда люди решили, что освоение космоса слишком рискованное дело. Это действительно большой риск, но представьте себе, что в 1969 году, когда американцы высадились на Луне, вся вычислительная мощность NASA была меньше, чем мощность любого современного компьютерного устройства, помещающегося у вас в кармане. Это устройство в тысячу раз мощнее суперкомпьютера, существовавшего 40 лет назад. Только представьте себе, какую вычислительную мощь вы носите в своем кармане! Правда, я не уверен, что Apple iPhone 7 обладает такой же вычислительной мощностью, какой обладал Apollo 7, то есть способен произвести такой же эффект.

Однако машины обеспечили нам множество великих достижений в области освоения космоса или мирового океана, и мы должны понять, что компьютеры предоставляют нам возможность принять на себя большие риски.

Я бы хотел закончить свое выступление на позитивной ноте. Разве на этом слайде не изображены позитивные картинки? Фотография в правом нижнем углу – это не «фотошоп», я действительно встречался с Терминатором в 2003 году.



Он тоже с детства любит шахматы, но специально ими не занимался, поэтому проиграл очень быстро. Поэтому я был очень удивлен, когда 6 месяцев спустя он баллотировался на пост губернатора Калифорнии и выиграл!

Почему я же я называю эти картинки позитивными? Потому что хотя во всех сериях, кроме первой, старина Арнольд всегда выступает на стороне победителей и никогда не устает бороться против новых машин, именно в первой серии мы видим комбинацию, о которой я говорил — это когда человек плюс старая машина плюс совершенный интерфейс побеждают новейшую машину.
Вы можете сказать: «да, машины сильнее людей, потому что могут вычислить абсолютно все!». Однако дело не в том, что они могут все рассчитать. Например, в шахматах технически можно говорить о математической бесконечности количества возможных ходов, равного 1045, которые не трудно вычислить любому современному компьютеру. Однако в игре важны не вычисления, а то, что компьютер оказывается впереди человека, потому что всегда руководствуется правилами. А вы знаете эффект этих правил и знаете, почему компьютер выбирает лучший ход из огромного множества возможных ходов.

Но если обратиться к реальной жизни, то я не уверен, что компьютер всегда может быть полезен. Давайте рассмотрим самую типичную ситуацию – у вас имеется компьютер, который следит за соблюдением бюджета, вы находитесь в магазине и собираетесь купить дорогой подарок. Компьютер оценивает покупку и говорит: «нет, вы не можете позволить себе эту вещь, потому что превысите бюджет». Машина все просчитала, но есть небольшой нюанс – рядом стоит ваш ребенок, и этот подарок предназначается ему на день рождения. Вы видите, насколько это меняет условия задачи? Это меняет всё, потому что ребенок ждет этот подарок.

Я могу начать добавлять эти мелочи, которые всё меняют, но не думаю, что их можно включить в условия задачи и получить правильное решение. У нас есть множество правил, но мы все равно вынуждены задавать вопросы, потому что ситуация меняется. Это то, что можно назвать обычной ситуацией, но если посмотреть на эти фильмы, можно сказать, что показанная здесь ситуация более драматична и экстраординарна. На этом слайде вы видите кадр из эпизода V «Звездные войны: Империя наносит ответный удар».



Хан Соло направляет корабль прямо через поле астероидов, и С-3PO впадает в панику, сообщая, что шанс выжить в этом поле составляет 1: 3122. Хан Соло говорит ему: «Никогда не говори мне, каковы наши шансы!». Здесь возникает вопрос, кто же более прав в данной ситуации?

Техника в лице С-3PO абсолютно права, потому что шанс выжить стремится к нулю. Возможно, что с точки зрения робота быть захваченным имперскими войсками является лучшим выбором, который человек даже не рассматривает, чем гибель в поле астероидов. Но если компьютер решит, что сдаться империи лучший вариант, то можно считать, что у человека вообще нет никаких вариантов. Очень важно то, что в обоих случаях, обычном и экстраординарном, у нас есть возможность принять конечное решение, и для принятия такого решения все ещё требуется лидерство человека.

Иногда это означает, что вы должны выступить против рекомендаций компьютера. Смысл человеческого лидерства не в том, чтобы знать шансы, а в том, чтобы задавать действительно значимые вопросы, не только сегодня или завтра, но в отдаленном будущем. Этот процесс можно назвать «руководящими указаниями человека» или «вмешательством человека», воздействием без помощи интеллектуальных машин. Вот каким должен наш курс в этом столетии.

Люди иногда удивляются моему оптимизму по поводу интеллектуальных машин, учитывая мой опыт общения с ними, но я действительно оптимист. И я уверен, что все вы с таким же оптимизмом оцениваете будущее ИИ. Но нужно помнить, что наши технологии агностичны. Это не хорошо и не плохо, но может быть использовано как для добрых дел, так и для злых. Машины должны становиться разумнее и способнее. А мы, люди, должны делать то, что могут делать только люди – мечтать, мечтать на полную, и тогда мы сможем извлечь все полезное, что несут в себе эти изумительные новые инструменты.



Как и планировалось, у нас еще остается 10 минут для ответов на вопросы.

Вопрос: как вы считаете, можно ли создать систему машинного обучения, которая могла бы определять, какие ходы более соответствуют человеческой манере игры?

Каспаров: прежде всего, мы не ожидаем от компьютера, что он подскажет нам первый ход и остальные 17505 ходов. Я думаю, мы должны рассчитывать на машину как на источник получения налучших рекомендаций для уникальных ходов. Кстати, игроки высшего класса используют компьютеры как гида, помогающего им занять наиболее подходящую позицию в игре. Повторюсь еще раз – в 9 случаях из 10 оценка ситуации компьютером намного превосходит оценку, которую способен сделать человек.

Вопрос: согласны ли вы с тем, что настоящий интеллект требует свободы выбора, свободы в принятии решений, которые может принимать только человек? Ведь программное обеспечение Deep Blue и другие компьютерные программы написаны людьми, и когда вы проигрываете Deep Blue, то проигрываете не компьютеру, а программистам, написавшим эту программу. Мой вопрос звучит так: не исходит ли какая-либо опасность от любого вида машинного интеллекта до тех пор, пока компьютеры имеют свободу выбора?

Каспаров: здесь я должен перейти от науки к философии. В отношении Deep Blue все понятно – это результат огромной работы человека. В большинстве случаев, даже в случае с AlphaGo Демиса Хассабиса, это все плоды человеческого интеллекта. Я не знаю, могут ли машины иметь свободу выбора, но я верю в то, что все, что мы делаем, если знаем, как это нужно сделать, машины сделают лучше. Однако, делая большинство вещей, мы не знаем, как их нужно делать наилучшим образом, поэтому зачастую не можем понять, что же у нас получится. Проще говоря, у нас есть цель, но мы не знаем, что она собой представляет, и роль машины – помочь нам осознать эту цель. Поэтому, если говорить о свободном выборе компьютеров, то он должен способствовать тому, чтобы связать нас с этой целью. Я думаю, что для компьютеров это очень отдаленная перспектива.

Вопрос: что вы думаете относительно таких человеческих характеристик, как храбрость и мораль, и о решениях, которые искусственный интеллект может принять на их основе? Например, как должен поступить беспилотный автомобиль – наехать на ребенка или уйти от столкновения с ним, врезавшись в скалу и убив своего пассажира?

Каспаров: это то, что люди называют «чувствами», они не поддаются количественной оценке, потому что это целая куча различных человеческих характеристик. Если мы говорим о храбрости, то эта характеристика всегда идет в разрез с шансами выбора оптимального варианта. Храбрость, как и другие человеческие чувства, по определению противоречат точному подсчету.
Вопрос: мистер Каспаров, мой вопрос не касается компьютеров: что находится в вашей фляжке и могу ли я это попробовать?

Каспаров: что вы имеете в виду?

Ведущий: он спрашивает, что находится в вашем кармане!

Каспаров: в моем кармане? «Столичная»! Это не реклама, если вы заметили, я её выбросил.



Вопрос: кто, по-вашему, станет следующим чемпионом мира по шахматам и имеет ли молодой китайский шахматист Вэй И шанс свергнуть Карелсена с трона короля шахмат?

Каспаров: Карелсен – игрок №1, он не чемпион мира, а просто лучший в мире шахматист согласно рейтингу. В этом году ему исполнится 27 лет, так что он все еще молод, но по современным стандартам не очень молодой. Я думаю, Вэй И сейчас 18 или 19 лет. Магнус опередил таких молодых игроков, как американцы Уэсли Со и Фабиано Керуана, и потенциально, Вэй И может выступить его противником. Однако для того, чтобы стать чемпионом мира, необходим талант, не обязательно быть молодым и энергичным, достаточно иметь немного удачи. Так что, отвечая на вопрос, могу сказать – да, он имеет шансы победить Магнуса Карелсена.
Вопрос: когда вы говорили о детерминированных алгоритмах и машинном обучении, то упомянули возможность использования машин как инструментов для дополнения нашего интеллекта. Что вы скажете о возможности максимализации ресурсов доя создания мощного ИИ или даже о том, чтобы «вложить» в компьютер человеческий мозг?

Каспаров: я не стесняюсь признать свое невежество, когда не уверен, что не в состоянии верно ответить на вопрос. Я изо всех сил стараюсь понять, что представляет собой человеческий мозг, если рассматривать его отдельно от человеческого тела, какие функции он выполняет. Потому что трудно представить, как поведет себя мозг отдельно от тела. Возможно, в будущем такой эксперимент можно будет осуществить, но я уверен, что комбинация человеческого мозга, человеческих чувств и эмоций с компьютером образуют «разум», который будет намного эффективнее, чем извлеченный и замороженный мозг, используемый в качестве устройства, заполненного нейронами.

Вопрос: существует ли универсальный базовый подход к проблеме замещения людских рабочих мест компьютерами?

Каспаров: думаю, это очень важный вопрос, потому что ясно, что мы приближаемся к тому моменту, когда многие люди могут остаться без работы. Это парадокс технологического прогресса: с одной стороны у нас имеются новейшие технологии, предоставляющие огромные конкурентные преимущества молодому поколению, которое имеет дело с этими устройствами и технологиями. С другой стороны, у нас имеется прогресс в медицине и здоровом питании, что продлевает человеческую жизнь и дает человеку способность трудиться многие годы. В этом смысле поколение 50-х, 60-х или даже 40-х годов не может выступать конкурентом нынешней молодежи. Мы должны найти разрешение этой парадоксальной ситуации, когда разрыв между поколениями настолько велик. Исторический опыт говорит, что такой разрыв всегда приводит к большому взрыву. Я имею в виду разрыв между существующей социальной инфраструктурой общества и технологическим прогрессом.

Это та проблема, которую политики предпочитают откладывать до следующих выборов. Никто не хочет говорить об этом, потому что это болезненный вопрос. Очень легко печатать деньги, надеясь, что кто-то когда-нибудь в будущем за это заплатит. Так что в этой сфере существует множество парадоксов, например, накапливание долгов за предоставление социальных гарантий старшему поколению в расчете на то, что бремя расплачиваться за эти долги ляжет на плечи молодого поколения. Существует множество вопросов, на которые у меня нет ответов, и множество вопросов, которые я мог бы задать, надеюсь, что ИИ мне в этом поможет.
Очень плохо, что на протяжение десятилетий политики пытаются игнорировать проблемы, которые мы с вами сейчас обсудили. Они всегда готовы к заявлениям, у них всегда есть планы, но они не хотят понять контрпродуктивность замалчивания проблемы конфликта технологий и социума. Благодарю вас за внимание!



Спасибо, что остаётесь с нами. Вам нравятся наши статьи? Хотите видеть больше интересных материалов? Поддержите нас оформив заказ или порекомендовав знакомым, 30% скидка для пользователей Хабра на уникальный аналог entry-level серверов, который был придуман нами для Вас: Вся правда о VPS (KVM) E5-2650 v4 (6 Cores) 10GB DDR4 240GB SSD 1Gbps от $20 или как правильно делить сервер? (доступны варианты с RAID1 и RAID10, до 24 ядер и до 40GB DDR4).

Dell R730xd в 2 раза дешевле? Только у нас 2 х Intel TetraDeca-Core Xeon 2x E5-2697v3 2.6GHz 14C 64GB DDR4 4x960GB SSD 1Gbps 100 ТВ от $199 в Нидерландах! Dell R420 — 2x E5-2430 2.2Ghz 6C 128GB DDR3 2x960GB SSD 1Gbps 100TB — от $99! Читайте о том Как построить инфраструктуру корп. класса c применением серверов Dell R730xd Е5-2650 v4 стоимостью 9000 евро за копейки?