Надежда, специалист машинного обучения «Инфосистемы Джет»:

Когда люди думают о гипотетических опасностях ИИ, то почему-то сразу представляют себе эдакого терминатора, который внезапно сбежит из какой-нибудь лаборатории и пойдет крушить все вокруг.

Мало кто боится бессердечную систему, которая рекомендует банку не одобрять тебе ипотеку, или приложение того же банка, в которое ты заходишь по отпечатку пальца. Собака от Boston Dynamics так вообще, кроме умиления, ничего не вызывает, и совсем уж комично выглядит армия роботов-пылесосов, которыми многие пользуются.

Здесь в том числе срабатывает эффект «зловещей долины», который, в частности, активно используется в киноиндустрии:

https://4brain.ru/blog/effekt-zloveschej-doliny-chem-nas-tak-pugajut-roboty/

https://nplus1.ru/blog/2016/11/07/uncanny-valley-effect

https://www.bbc.com/russian/features-49083097

На мой взгляд, этот страх абсолютно иррационален, хотя, признаюсь честно, антропоморфные роботы и у меня вызывают некоторое содрогание.

Люди зачастую склонны преувеличивать возможности ИИ.

На текущий момент ИИ способен только автоматизировать относительно рутинные процессы — снимать с людей чисто техническую работу. В частности, многие процессы, поддающиеся алгоритмизации, могут быть заменены ИИ. Бесспорно, результаты работы ИИ выглядят порой очень эффектно, так и подталкивая к мыслям о восстании машин, но надо понимать, что все алгоритмы создаются и используются людьми. Это означает, во-первых, что нельзя слепо доверять ИИ, можно лишь учитывать его рекомендации, а финальное решение всегда должно оставаться за человеком. А во-вторых, что ИИ — это всего лишь инструмент, применение которому придумывает человек.

Я считаю, что нужно опасаться проблем с информационной безопасностью и, как следствие, того, кто и каким образом будет использовать наши данные. Это та самая Big Data, которая регулярно попадает в руки мошенников. Речь может идти о паролях, банковских данных и пр.

Взять те же популярные сейчас генетические тесты. Казалось бы — ты можешь получить свой генетический паспорт, узнаешь многое о своем здоровье и о гипотетических проблемах. Но что, если кто-то еще получит доступ к этим данным? Представьте, что вы знаете все уязвимые места большого количества людей. Это можно использовать как во благо, изменив, например, какие-то моменты в системе здравоохранения, так и во вред. Вполне тянет на теорию заговора :)

Другой пример: в Москве сейчас активно разворачивается система распознавания лиц, которая, с одной стороны, помогает более оперативно находить преступников, а с другой... По большому счету, мы не знаем, кто может оказаться по ту сторону этой системы и с какой целью этот человек будет отслеживать наши перемещения по городу.

Ну и масса других возможностей: данные мобильных операторов, GPS-трекеров, общественный Wi-Fi...

Алексей, специалист машинного обучения «Инфосистемы Джет»:

Широкое распространение ИИ бросает вызов информационной безопасности, ведь технологии глубокого обучения сейчас доступны всем желающим, вне зависимости от их моральных качеств. Не будем вдаваться в трудности, которые принес ИИ специалистам по информационной безопасности, и обсудим близкие любому примеры.

Если еще вчера «разводом» людей по телефону занимались сотни «операторов» из СИЗО, то сегодня их постепенно вытесняют алгоритмы, способные распознать речь человека и подобрать необходимый отрывок заранее записанной для воспроизведения речи. Благо на сегодняшний день с генерацией правдоподобного телефонного разговора все не так просто, и злоумышленники вынуждены в определенный момент переключать потенциальную жертву на живого человека, оставив на алгоритм лишь функцию первичного отбора, что хоть как-то ограничивает количество обзваниваемых параллельно людей.

Но вот в области генерации человекоподобной переписки в чатах компьютер преуспел намного больше. В наше время никого не удивить историей о взломанном в соцсетях друге, от лица которого достаточно естественно, пытаясь подражать стилю общения реального прототипа, просил в долг злоумышленник. Нужно ли говорить, насколько опаснее подобные социальные атаки становятся при использовании в них алгоритмов машинного обучения?

Алгоритм способен за считаные секунды проанализировать годы переписки, уловить малейшие нюансы общения и без участия злоумышленника сгенерировать жертве настолько правдоподобное сообщение, что у той не останется ни малейшего сомнения в том, что хорошо известному ей человеку нужна срочная финансовая помощь.

Мало того, что злоумышленники копируют наших знакомых. Технологии Deepfake позволяют любому желающему, обладающему достаточной квалификацией, скопировать абсолютно любого политика или актера. И убытки в таком случае исчисляются уже не сотнями рублей. Вспомним недавние истории о том, как неизвестные, копируя внешний вид и голос Волкова (https://daily.afisha.ru/news/49735-prankery-poobschalis-s-deputatami-latvii-ot-imeni-leonida-volkova-oni-ispolzovali-dipfeyk-ego-lica/), вели от его лица переговоры с рядом крупных политиков.

Использование таких технологий подрывает доверие к тому, что человек видит и слышит в Интернете. И заставляет лишний раз задуматься перед тем, как выложить в сеть собственное фото или видео. Кто знает, может именно на основе этого контента завтра будет создан твой собственный deepfake…

Ярослав, руководитель отдела интеллектуального анализа центра машинного обучения «Инфосистемы Джет»:

Есть такая проблема в машинном обучении — feedback loop. На нашем языке это что-то вроде порочного круга. В чем смысл?

Алгоритмы машинного обучения строятся на основе исторических данных и дальше, уже в режиме работы, формируют предсказания на будущее. В некоторых задачах, например, ценообразовании или персональных рекомендациях, эти предсказания выдаются пользователю. Спустя время выданные рекомендации станут историческими данными, и будущие прогнозы будут строиться на их основе. Если данные не слишком вариативные, происходит «зацикливание». Для нас, пользователей, это обычно выливается в однотипный контент в рекомендациях Instagram (когда тебе показывают только видео ASMR или котиков) или на YouTube (видео о NFTs и Crypto). Или, например, вышел новый альбом Morgenstern, который ты послушал «случайно» пару дней, — и все твои будущие рекомендации составляет new school русский реп.

Сейчас дата-сайнтисты стараются с этим бороться, но все равно проблема насыщения существует. Пользователю стоит самостоятельно разнообразить потребляемый контент, и система перестроится.