В прошлом посте, посвященном ошибкам искусственного интеллекта, мы обсудили причины возникновения смещений данных и привели несколько примеров, по поводу которых велась оживленная дискуссия в профессиональных кругах. Сегодня продолжаем тему. Александра Царева, дата-сайнтист "Инфосистемы Джет", раскроет тему возможного влияния bias на мир.

«Предвзятость» (многие лучше знакомы с коротким английским термином bias), ведущая к получению искаженных выводов, свойственна  искусственному интеллектутак же, как и его «естественному» собрату.

Думаю, что мои ровесники — те, кому сейчас около 30–40 лет — взрослели в удивительное время, когда искусственного интеллекта вокруг них становилось все больше. Приложения и алгоритмы, делающие нашу жизнь удобнее, постоянно появляются и сейчас. Всегда интересовало: нельзя ли сделать так, чтобы «угнетение роботами», которое нам обещали фантасты и на которое жалуются сейчас люди, с обеспокоенностью смотрящие в будущее, происходило еще лучше и качественнее, чем сейчас? Чтобы умный дом лучше разбирался в моих повседневных привычках и меньше нуждался в настройке, чтобы рекомендации рекомендательных систем были более точными и не советовали мне то, что может не понравиться…

Тем не менее, у этого возрастающего удобства и приспособленности мира лично к твоим нуждам на основании решений алгоритмов и рекомендательных систем есть и темная сторона: чем лучше «роботы» знают, что нам нужно, тем больше они закрепляют определенное положение вещей.

То, что по сравнению с миром прошлого мы все больше опираемся на то, что нам посоветуют системы, созданные дата-сайнтистами, довольно специфическим образом меняет наше восприятие мира.

Идеальный пример — новостные ленты. В целом и до того, как появился интернет и новостные паблики, уже было известно, что люди склонны искать подтверждение своему мнению и формировать круг того, что они читают, и тех, с кем они общаются, исходя из близости их взглядов к своим. В ранних исследованиях эффект назывался «эхо-комнатами», сейчас более привычным термином стал «информационный пузырь». Повсеместное внедрение рекомендательных систем закрепило и развило этот давно хорошо известный эффект, приводящий к смещению восприятия и приверженности такой когнитивной ошибке, как предвзятость подтверждения.

Вчера человек выписывал газеты определенной направленности — сегодня подборку новостей делает алгоритм на главной странице поисковика или социальной сети. Вчера мы подбирали друзей по интересам — сегодня всегда можно найти в социальных сетях сообщество, разделяющее даже самые экзотичные воззрения (вплоть до теории плоской земли). Раньше шансы выйти за пределы своего информационного пузыря были невелики, его поддерживали наши привычки и круг общения. Сегодня эти шансы практически нулевые для всех, кто не делает для этого специальных усилий.

Мир, в котором рекомендации становятся все лучше, сужает наш угол обзора и в некотором смысле начинает формировать нашу повестку самостоятельно.

В придачу к этому — тут мы начинаем подходить к вопросу буквального смещения данных — есть такая проблема, что модели, которые мы обучаем, обучаются не в вакууме, а уже в некоторой среде, где у людей были определенные когнитивные искажения и они тоже отпечатались в наборе данных.

Например, в США используется система, рассчитывающая вероятность повторного правонарушения и рекомендующая судьям более или менее строгое наказание. Казалось бы, хорошая идея — так судья будет избавлен от личных симпатий или антипатий к правонарушителю. На деле оказалось, что точно так же, как судьи бывают предубеждены против людей с определенным набором характеристик, была предубеждена в этом и система. Почему? Разработчики утверждают, что расовые характеристики при разработке не использовались. Тем не менее, есть множество косвенных признаков, которые позволяют вывести, к какой группе населения относится человек — место проживания, состав семьи, образование, сфера занятости и т.п.

Это довольно интересный кейс: мы ведь понимаем на бытовом уровне, почему какие-то категории людей более подвержены тому, чтобы совершить правонарушение и оказаться в тюрьме. При этом, если мы это понимание автоматизируем, предоставив те же факты, на которых мы пришли к этому выводу, системе искусственного интеллекта, то получается, что мы закрепляем неравноправие, возникшее на основании неучтенных искусственным интеллектом фактов. И продолжаем воспроизводить однажды возникшую ситуацию — в некоем дистопическом будущем уже, возможно, даже не рефлексируя о том, почему мы считаем одних людей более вероятными преступниками, чем других.

Поэтому важна работа аналитиков уже после внедрения аналитических систем: у живого человека есть некоторый люфт, в пределах которого он может задуматься о своей правоте, сделать какую-то личную оценку, приобрести новый опыт, учесть неожиданные изменения, произошедшие в системе.

Опыт, который был приобретен искусственным интеллектом, основан на прошлом: алгоритм знает, как было хорошо, и что делать, чтобы было хорошо и дальше.

Кто понесет ответственность за ошибки искусственного интеллекта?

Это сложный этический вопрос, и однозначного ответа на него еще нет (как и на многие другие вопросы выше).

Посмотрим, например, на разработку управляемых искусственным интеллектом автомобилей. С одной стороны, они всё более самостоятельны, с другой стороны, как правило, разработчики требуют, чтобы за рулём был человек, готовый перехватить управление. И ученые, и простые люди продолжают дискутировать о том, в чью пользу должен быть выбор машины, которую ведет искусственный интеллект, если перед ней возникает угроза сбить пешехода — в пользу человека, которого она везет, или в пользу пешехода?

В зависимости от выбранной точки зрения можно спорить дальше: если машина должна прежде всего отвечать за безопасность тех, кто внутри машины, то почему? Пешеход же ни в чем не виноват, он просто мимо проходил. А если она должна совершать выбор в пользу пешехода против безопасности тех, кто сидит в машине, то почему? Они же в ней сидят, и, казалось бы, искусственный интеллект должен позаботиться о тех, кто ему доверился.

И ситуаций, куда нельзя применить что-то вроде «трех законов робототехники», немало. Возьмем классическую дилемму вагонетки (где нужно выбрать, кто пострадает — один человек или много), или ее вариацию про толстяка, которого нужно столкнуть/не столкнуть на рельсы, чтоб не допустить/допустить большее число жертв, — как должен поступать хороший робот? Классические задачи на этику, использовавшиеся в экспериментах психологов, вовсю обсуждаются и с точки зрения действий искусственного интеллекта в такой ситуации.

На данный момент принято, что от искусственного интеллекта, который должен будет принять решение, ценой которого могут быть жизни людей (а не какая-то экономическая упущенная выгода), конечное решение передается к человеку. Алгоритмы не решают, они советуют специалисту. Пока такие перспективные проекты, как искусственный интеллект-доктор, ставящий диагноз, все еще остаются нереализованными и действующими в лучшем случае в пилотной роли советчика. Ведь если искусственный интеллект ставит некий диагноз и на его основании дает врачебные рекомендации, на кого должна быть переложена ответственность за его ошибку? Если ошибся доктор-человек — существуют давно разработанные механизмы, а вот как поступать в случае, если ошибся алгоритм, дав неверную или опасную рекомендацию — непонятно. Так что, несмотря на то, что в медицине довольно много перспектив по передаче внешне тривиальных случаев в руки искусственного интеллекта, такого перехода пока не произошло.

Как крупные компании борются с проблемами?

Разумеется, смещения данных — не тайна, и крупные компании прекрасно об этом знают. Существуют разные методы борьбы в зависимости от того, что вызывает само смещение (изначальная неполнота относительно моделируемой области; изменения, обусловленные изменением моделируемой области в связи с обновлением процессов или просто во времени; контроль качества за изменением поведения акторов после того, как модель на них повлияла и т.п.).

Мне доводилось слышать, что у некоторых уже есть специальные отделы мониторинга data quality (качества данных), которые занимаются непосредственно тем, что ищут неучтенные аномалии, какое-то странное поведение модели, а также контролируют, чтобы ее качество было равномерным на всех типах объектов. В общем, это такие профильные специалисты, которые следят, чтобы в дата-сайнтистской операционной было чисто.

Нo, насколько я знаю по общению с коллегами, как правило, занимаются этими вопросами те же дата-сайнтисты, которые разрабатывали изначальные модели, просто потому, что они профильные специалисты в изучении данных и всего, что происходит на стороне систем машинного обучения. Если у вас есть другой опыт — будет интересно узнать о нем в комментариях.

Александра Царева, ведущий специалист Центра машинного обучения "Инфосистемы Джет"