Нет ли у моего автомобиля галлюцинаций? Не страдает ли алгоритм, управляющей системой полицейского надзора в моём городе, паранойей? У Марвина, андроида из «Автостопом по Галактике», болели все диоды по левой стороне. Нет ли схожих ощущений у моего тостера?
Звучит это курьёзно, но только до тех пор, пока мы не поймём, что наши алгоритмы всё больше начинают походить на нас самих. Чем больше мы узнаём о нашем мозге, тем больше мы вкладываем этих знаний в создание алгоритмических версий самих себя. Эти алгоритмы контролируют скорость робомобилей, определяют цели для автономных военных дронов, подсчитывают нашу восприимчивость к коммерческой и политической рекламе, находят нам родственные души в онлайн-сервисах и оценивают риски для страховки и кредитов. Алгоритмы становятся почти разумным фоном нашей жизни.
Самые популярные алгоритмы, используемые сегодня в работе – это алгоритмы с глубинным обучением. Они копируют архитектуру человеческого мозга, выстраивая сложные модели информации. Они обучаются понимать окружающую действительность через её восприятие, определять то, что важно, и понимать, что из чего вытекает. Они похожи на наш мозг, и риск возникновения у них психологических проблем растёт.
Deep Blue, алгоритм, победивший чемпиона мира по шахматам Гарри Каспарова в 1997 году, использовал метод грубой силы, перебирая по миллиону позиций в секунду и прогнозируя до 20 ходов в будущее. Все понимали, как он работает, даже если и не могли повторить. AlphaGo, алгоритм с глубинным обучением, победивший Ли Седоля в го в 2016, кардинально отличается. Он использовал нейросети для создания собственного понимания игры, считающейся самой сложной из всех настольных игр. AlphaGo обучался, наблюдая за другими, и играя с самим собой. Программисты и игроки в го сбиты с толку нестандартной манерой игры AlphaGo. Его стратегия сначала кажется необычной. И только потом мы понимаем, что он имел в виду, и то, не на все 100%.
Чтобы лучше объяснить вам, что я имею в виду под размышлениями, рассмотрим следующее. У таких программ, как Deep Blue, в коде может содержаться ошибка. Они могут упасть от переполнения памяти. Они могут оказаться парализованными из-за бесконечного цикла или просто выдать неправильный ответ. Но все эти проблемы может решить программист, имеющий доступ к исходному коду программы, при помощи которого был написан алгоритм.
Такие алгоритмы, как AlphaGo, работают совершенно по-другому. Их проблемы очень сложно увидеть, просто разглядывая программный код. Они связаны с внутренним представлением информации. Это представление – постоянно меняющееся многомерное пространство, напоминающее ландшафты сна. Решение проблем таких алгоритмов требует, ни много, ни мало – психотерапевта для алгоритмов.
Возьмём беспилотные автомобили. Робомобиль, увидевший первый знак «стоп» в реальном мире, до этого при тренировке видел уже миллионы знаков «стоп», в процессе построения мысленной репрезентации этого знака. При разных условиях освещения, при хорошей и плохой погоде, с дырками от пуль и без них – знаки «стоп» содержат в себе невероятное количество разнообразной информации. При большинстве вариантов нормальных условий робомобиль распознает знак «стоп». Но не все условия нормальны. Некоторые недавние опыты показали, что несколько чёрных наклеек, закрывающих знак «стоп», могут обмануть алгоритм, который решит, что это, на самом деле – знак ограничения скорости до 60 миль в час. Алгоритм, встретившись с чем-то, до ужаса похожим на контрастную тень дерева, начинает галлюцинировать.
А сколько способов испытать галлюцинацию есть у алгоритма? Чтобы это выяснить, нам пришлось бы задать алгоритму все возможные комбинации входных данных. Это значит, что что-то может пойти не так бесконечным количеством способов. Программистам-экспертам это уже давно известно, и они пользуются этим для создания т.н. состязательных примеров. Исследовательская группа ИИ LabSix из MIT показала, что выдавая алгоритму классификации изображений от Google специальные картинки, и используя полученные от него данные, можно определить его слабые места. А затем их можно использовать эти слабости для обмана алгоритма – чтобы, например, заставить его поверить, что рентгеновский снимок на самом деле представляет собой изображение двух щенят, играющих в траве.
Алгоритмы тоже могут совершать ошибки, поскольку они иногда воспринимают особенности окружения, которые коррелируют с итоговым результатом, хотя не имеют с ним причинно-следственной связи. В мире алгоритмов это называется переобучением. Когда это происходит в мозгу, мы называем это суеверием.
Одним из крупнейших алгоритмических провалов на текущий момент остаётся т.н. "парабола Google Flu" [предсказание эпидемий гриппа]. Google Flu использовала информацию о том, что люди ищут в Google, для предсказания мест и интенсивности вспышек гриппа. Сначала предсказания Google Flu работали неплохо, но со временем стали ухудшаться, пока, наконец, система не стала предсказывать в два раза больше случаев гриппа, чем было зарегистрировано в центрах по контролю над заболеваниями США. Google Flu, как алгоритмический шаман, просто обращала внимание не на то, что нужно.
Возможно, алгоритмические патологии поддаются исправлению. Но на практике алгоритмы часто представляют собой проприетарные чёрные ящики, обновление которых запрещается законами коммерции. В книжке "Оружие математического поражения" Кэти О’Нил от 2016 года описывается истинный парад уродов, составленный из коммерческих алгоритмов, чьи хитрые патологии портили людям жизнь. Особенно интересны алгоритмические разломы, разделяющие богатых и бедных. Бедные люди с большей вероятностью будут иметь проблемы с кредитом, жить в местах с повышенным уровнем преступности, в окружении других бедных людей с похожими проблемами. Из-за этого алгоритмы выбирают этих людей в качестве целей обманчивой рекламы, питающейся их отчаянием, предлагают им субстандартные займы, и отправляют в их районы проживания больше полицейских, увеличивая вероятность того, что полиция задержит их за совершение преступлений, которые происходят с той же частотой и в более богатых районах. Алгоритмы, используемые системой правосудия, назначают таким людям большие сроки, уменьшают их шансы на УДО, блокируют для них вакансии, увеличивают проценты по ипотеке, требуют большие взносы за страховку, и так далее.
Этот алгоритмический замкнутый круг скрыт в матрёшках, состоящих из чёрных ящиков: алгоритмы-чёрные ящики, прячущие процесс обработки в своих мыслях высших измерений, к которым у нас нет доступа, спрятаны в чёрных ящиках проприетарных прав на алгоритмы. В некоторых местах, например, в Нью-Йорке, это привело к предложениям о принятии законов, обязывающих отслеживать справедливость работы алгоритмов, используемых муниципальными службами. Но если мы даже в себе не можем обнаружить когнитивные искажения, как можно ожидать их обнаружения в наших алгоритмах?
Алгоритмы, тренируясь на человеческих данных, приобретают и наши искажения. В одном недавнем исследовании под руководством Айлин Калискан из Принстонского университета было обнаружено, что алгоритмы, тренирующиеся на новостях, очень быстро приобретают расовые и половые предубеждения. Как отметила Калискан: «Многие люди считают, что у машин нет предубеждений. Но машины тренируются на человеческих данных. А у людей предубеждения есть».
Соцсети – это змеиное гнездо человеческих предубеждений и ненависти. Алгоритмы, проводящие много времени в соцсетях, быстро становятся слепыми фанатиками. Они приобретают предубеждения против медбратьев и женщин-инженеров. Они неправильно воспринимают такие проблемы, как иммиграция и права меньшинств. Ещё немного, и алгоритмы начнут относиться к людям так же нечестно, как люди относятся друг к другу. Но алгоритмы по сути своей слишком уверены в своей непогрешимости. И пока их не натренируешь на обратное, у них не будет причин подозревать себя в некомпетентности (всё, как у людей).
У описанных мною алгоритмов психологические проблемы возникают из-за качества данных, на которых они тренируются. Но у алгоритмов могут быть схожие проблемы и из-за их внутренней структуры. Они могут забывать старую информацию, изучая новую. Представьте, что вы запомнили имя нового коллеги и внезапно забыли, где вы живёте. В крайнем случае, алгоритмы могут страдать из-за т.н. "катастрофического забывания", когда алгоритм в целом уже не может изучать и запоминать что-то новое. Теория возрастного когнитивного ухудшения основана на схожей идее: когда память становится перегруженной, как мозгу, так и компьютеру требуется больше времени, чтобы найти то, что им известно.
Когда именно дело принимает патологический оборот – это зависит от точки зрения. В результате психологические аномалии у людей часто остаются нераскрытыми. Синестетики, такие, как моя дочь, в восприятии которой написанные буквы связаны с определёнными цветами, часто не догадываются, что обладают особым даром восприятия, вплоть до подросткового возраста. Свидетельства, полученные из анализа речевых оборотов Рональда Рейгана, сейчас говорят о том, что он страдал от деменции, будучи президентом. В статье The Guardian описывается, что массовые расстрелы, происходившие в США примерно в девять из каждых десяти дней за последние пять лет, часто устраиваются т.н. «нормальными» людьми, не выдерживающими гонений и депрессии.
Во многих случаях, чтобы обнаружить проблему, требуется несколько последовательных перебоев. На постановку диагноза «шизофрения» уходит минимум месяц наблюдений за симптомами. Асоциальные расстройства личности – современный термин для психопатии и социопатии – не получится диагностировать у людей, не достигших 18-летнего возраста, да и потом их можно поставить только, если у человека наблюдались расстройства в поведении до 15 лет.
У большинства психологических расстройств не существует биомаркеров, точно так же, как в коде AlphaGo отсутствуют баги. Проблемы в нашем «оборудовании» не видно. Она в нашем «программном обеспечении». Множество вариантов нарушения работы мозга делают каждую психологическую проблему уникальной. Мы относим их к широким категориям, вроде шизофрении или синдрома Аспергера, но большинство расстройств имеют широкий спектр, охватывающий симптомы, которые можно найти у большинства людей, в той или иной степени. В 2006 психологи Мэтью Келлер и Джоффри Миллер писали, что это – неизбежное свойство устройства мозга.
В таком разуме, как наш, многое может пойти не так. Карл Юнг однажды предположил, что в каждом разумном человеке кроется безумец. Чем больше наши алгоритмы становятся похожими на нас, тем проще ему в них спрятаться.
Томас Хиллс — профессор психологии из Уорикского университета в Ковентри, Британия.
Комментарии (21)
Hellsy22
15.05.2018 11:09Некоторые недавние опыты показали, что несколько чёрных наклеек, закрывающих знак «стоп», могут обмануть алгоритм
Этим опытам больше лет, чем AlphaGo, некорректно распространять все ошибки старых алгоритмов на новые.
Они неправильно воспринимают такие проблемы, как иммиграция и права меньшинств. Ещё немного, и алгоритмы начнут относиться к людям так же нечестно, как люди относятся друг к другу. Но алгоритмы по сути своей слишком уверены в своей непогрешимости.
По-моему, в своей непогрешмости уверены люди, которые игнорируя мнение большинства навязывают всем «правильную» позицию. Возможно современные нейросети пока не не умеют в двоемыслие, но для решения прикладных задач вроде навигации это и не нужно.
Полагаю, что когда потребуются продвинутые боты для соц. сетей, НС научатся и двоемыслию, и троемыслию, и переобуваться на ходу, непрерывно это обосновывая. Может быть мы даже еще увидим бота-политика…
vassabi
15.05.2018 11:14все эти проблемы может решить программист, имеющий доступ к исходному коду программы, при помощи которого был написан алгоритм.
Такие алгоритмы, как AlphaGo, работают совершенно по-другому. Их проблемы очень сложно увидеть, просто разглядывая программный код. Они связаны с внутренним представлением информации.
вот я Ян ЛеКун от том же: презентация (очень интересная, посмотрите — не пожалеете, и еще видео с докладом)
Но он так и остается «программистом», а не психологом — программирование таких систем у него называется — differentiable programming (в отличии от обычного).
Ariez
15.05.2018 15:21Напомнило Станислава Лема, «Рассказы о пилоте Пирксе», «Ананке». Там в целом сходная ситуация —
Спойлер для тех, кто читал или читать не собираетсяпаранойя у компьютера из-за особенностей характера человека, который «обучал» компьютер, как результат — крушение ракеты, управляемой этим компьютеромKivApple
15.05.2018 19:36А между тем сам автор исходной статьи абсолютно уверен в своей правоте насчёт того, что психика людей АБСОЛЮТНО не зависит от их генетики, места рождения, пола и т. д. Конечно, 90% стереотипов это стереотипы, но...
KivApple
15.05.2018 20:41Собственно, есть два утверждения:
1) Работа сознания сильно зависит от биохимии мозга, гормонов и т. д. В свою очередь всё это частично задано генетикой (что-то, конечно, меняется в течении жизни, но не всё).
2) На становление личности влияет окружение в детстве и подростковом возрасте.
Я не утверждаю, что личность на 100% определяется этими факторами, лишь что связь есть и она сильнее, чем статистическая погрешность. Если кто-то не сомневается в этих двух утверждениях, то это означает автоматическое согласие с тем, что личность человека зависит от таких объективных и измеряемых факторов как генетика (а в свою очередь от генетики также зависит пол, цвет глаз, волос, кожи и т. д.), так и место рождения и взросления (благополучие семьи штука более субъективная, но не совсем уж).
Проблема в том, что люди имеют свойство на каждую реальную закономерность придумывать 10 воображаемых. Отсюда рождаются стереотипы (например, «все блондинки глупые», «все чёрнокожие вырастают в бандитов» и т. д.), которые мешают людям жить. Человечество несколько раз обжигалось на этом (история человечества полна дискриминаций по различными стереотипам), поэтому сейчас официальная политкорректная точка зрения «личность не зависит от каких-либо измеримых факторов, все люди равны, мир, дружба, жвачка». Но и эта позиция не является абсолютно верной, поскольку абсолютно игнорирует ряд научных фактов.
Конечно, ИИ может перенять некоторые стереотипы у людей, его обучающих, а также спутать причины и следствия, но и некоторые настоящие закономерности он найти может. И мне жалко ИИ, который будут заставлять натягивать сову на глобус во имя политкорректности…
Впрочем, наука не стоит на месте. Когда смена пола, цвета кожи и т. д. будет так же доступна как перекраска волос в другой цвет, то ошибочные дискриминации потеряют былую угрозу и человечество постепенно забудет про некоторые табу.samlowry
16.05.2018 16:58Плюсую, обчитался исследований по генетической теории СДВГ (гена охотника или фермера).
Orcus13
15.05.2018 19:57У большинства психологических расстройств не существует биомаркеров, точно так же, как в коде AlphaGo отсутствуют баги. Проблемы в нашем «оборудовании» не видно. Она в нашем «программном обеспечении»
У большинства психических расстройств существует фармакологическое лечение. В большинстве случаев это значит что существует совершенно конкретный биологический механизм, отвечающий за дисфункцию. — Обычно это расстройство одной из нейромедиаторных систем.
Является ли нейромедиаторная система «программным обеспечением» или «оборудованием» — это вопрос вкуса. По сути — это тонкая настройка работы нейронов, раскиданных по всему мозгу, слабо объединенных топологически.
Смысл нейромедиаторов в том, чтобы формировать и модулировать характер и настроение животного. И происходит это все благодаря химическому синапсу, которого у нейросети нет.
Впрочем, если говорить не столько о психических проблемах, сколько о когнитивных искажениях и оптических обманах, то сравнение автора получается уже не столь кривым.
phenik
16.05.2018 04:10Плоская шутка о плоской Земле)
Еще в школе вдолбили, что шарообразность Земли — ересь, форма Земли — эллипсоид (геоид).
striver
Hardcoin
Проблема-то не в знаках. На отбойники или грузовики вы тоже QR-код предложите навестить? Вряд ли.
JustDont
Вот чего не хватало недавно перееханной автомобилем Uber, оказывается! QR-кодом нужно было обклеиться.
striver
Если ты считаешь, что правительство к тебе относиться как-то по другому, кроме как циферки на бумажке, то ты очень сильно ошибаешься, тогда почему компьютер, у которого в «голове» 1 и 0 должны к человеку относиться как-то по другому?
JustDont
«Правительство» ко мне не относится. Правительство — это не живое мыслящее существо, чтоб к чему-то и кому-то относиться. Это всего лишь организация, и правила и принципы функционирования этой организации созданы людьми и вполне понятным для людей образом.
Классификационная нейронная сеть оперирует числами («весами» связей), сформированными в процессе обучения, которые во многом являются «вещью в себе» — попытки их толковать крайне сложны, еще более сложна любого рода их отладка. И никакого сходства с человеческим распознаванием объектов тут нет и еще даже в теории не предвидится (потому что мы не распознаём объекты исключительно на основе двухмерных изображений). Поэтому чем больше ты знаешь про специфику работы алгоритмов в автопилотах, тем страшнее выйти на дорогу перед робомобилем, особенно когда единственным препятствием для движения являешься как раз ты. Это почти как решать капчу, отказывающуюся считать вас человеком, только с гораздо более серьезными последствиями :-)
При этом я вполне допускаю, что «баги» классификации вполне возможно умять до такого состояния, когда они будут статистически малозаметны (и в ход пойдут аргументы «люди-водители убивают куда больше», «вероятность быть убитым робомобилем не выше вероятности умереть от внезапного кирпича на голову» и тому подобное).
striver
Кью Ар коды на человеке — это как шутка, но было бы очень не плохо велосипедистам одевать какую-то накидку или на рюкзак стикер (10 на 10 см, например)… и машины считывая этот код, уже «знает», что это велосипедист, а не непонятный «квадрат», как у многих если не всех «автопилотов». В ПДД сказано, что велосипедист обязан одевать светоотражающую одежду, чтоб увеличить шанс быть замеченным водителем.
ИМХО, самое сложное что есть для автопилотов — это как раз поведение человека, как пешеходов так и за рулем. Самое простое — ехать в полосе, даже с точки А в точку Б. А вот резкие маневры людей — это сложно, особенно, когда нарушаются ПДД. Но в итоге, через определенное время, если не закроют эти автопилоты — то количество ДТП упадет кратно, да и скорость передвижения значительно вырастет, без прямого участия человека в этом процессе.
JustDont
Данных в первую очередь не хватает, данных. И главное, новых способов их представления. Коэффициенты нейросеток — штука с кучей недостатков.
Наши мозги не то, чтоб прямо чемпионы по работоспособности, и говорить про то, что электронике нужны квинтиллионы операций в секунду просто для того, чтоб быть похожими — это наивно. Проблема тут не в быстродействии, а в несовершенстве данных в первую очередь и алгоритмов во вторую.
Это будет практично на этапе полного господства робомобилей, но едва ли раньше. А до этого этапа еще жить да жить, очень много времени пройдет, даже если индустрия будет развиваться нормально.
striver
Это будет очень практично уже «сейчас», когда роботы не совершенны и идет этап их адаптаций. А то, что китайцы позволили эту технологию развивать, то решения по воду внедрения подобного в Поднебесной в ближайшее время — очень даже реально. Партия сказала одеть накидки — значит наденут, ибо штрафы и запреты на поездки по дорогам на велике. А в других странах, граждане, которые будут против того, чтоб их сбивали автомобили — будут сами покупать, без обязаловки. Лично я, уже б давно ездил на работу, в летнее время на велике. По скорости, было бы на втором месте после автомобиля. Но, много проблем с инфраструктурой, но это ладно, но большее всего меня напрягают моменты, когда тебя могут сбить. Коллега по работе ездит почти каждый день, так может каждый раз рассказать 2-3 истории как его чуть не задавили. В этом случае, накидки с Кью Ар кодами на спине — чуть ли не маст хэв в районах с робомобилями. Можно очень быстро стандартизировать и внедрить. Это костыль, но данный момент — чем не вариант. Это даже лучше, чем коды на знаках.
striver
Отбойники и грузовики — это что-то вообще мне не понятное, как в Тесле не могут просчитывать траекторию, которая будет пересекаться с чем-то недвижимым. Они хорошо «сканируют» трафик в движении, а вот то стоит — как-то очень слабо. Думаю, что они таки запихнут пару лидаров в передний бампер. Вчера/сегодня, Тесла опять заехала «в жопу» пожарке. Не знаю еще подробностей, на автопилоте это было или нет. Но 100 км без торможения, скорее всего что на автопилоте было. Крайне прискорбно.