Недавно я обнаружил потрясающую новую статью How to think about end-to-end encryption and AI, написанную группой исследователей из Нью-Йоркского и Корнеллского университетов. Я очень рад прочтению этой статьи, потому что, хоть не согласен со всеми её выводами, она стала первой попыткой ответа на невероятно важные вопросы.

С одной стороны, максимума мой интерес к этой теме достиг, когда были разработаны системы ИИ-помощников наподобие защиты от мошеннических звонков Google и Apple Intelligence. Обе эти системы нацелены на то, чтобы ИИ был задействован практически во всех частях телефона, даже в личных сообщениях. С другой стороны, я размышлял о негативном влиянии ИИ на конфиденциальность из-за недавних европейских обсуждений законов об обязательном сканировании контента, благодаря которым системы машинного обучения смогут сканировать все отправляемые личные сообщения.

Несмотря на различия этих двух аспектов, я пришёл к мнению, что в конечном итоге они сведутся к одному. А поскольку меня больше десятка лет волнует шифрование и обсуждения «криптовойн», я был вынужден начать задавать неприятные вопросы о будущем сквозного шифрования. Возможно, даже вопросы о том, есть ли у него будущее.

Но давайте начнём с чего-то попроще.

▍ Что такое сквозное шифрование и как с ним связан ИИ?

С точки зрения конфиденциальности, самой важной историей за последний десяток лет стало развитие платформ общения со сквозным шифрованием. До 2011 года большинство соединённых с облаками устройств просто загружали свои данные в текстовом виде. Из-за этого конфиденциальные данные многих людей утекали к хакерам, приводили к гражданским искам, судебным ордерам или эксплуатации бизнесов самими платформами. Большинство обычных конечных пользователей, незнакомых с инструментами наподобие PGP и OTR, страдало от последствий этого.

И ведь эти последствия действительно оказывались ужасными.

Заголовок статьи о группе Salt Typhoon, которая, по сути, проучила телекоммуникационную инфраструктуру США, скомпрометировав системы «прослушки»

Примерно в 2011 году наш подход к хранению данных начал эволюционировать. Всё началось с таких мессенджеров, как Signal, Apple iMessage и WhatsApp. Они начали по умолчанию реализовывать сквозное шифрование для конфиденциальной переписки. Эта технология изменила способ управления ключами, гарантируя, что серверы никогда не увидят содержимое сообщений в текстовом виде. Вскоре после этого такие разработчики телефонов и их ОС, как Google, Samsung и Apple начали шифровать данные, локально хранящиеся в телефоне, из-за чего у них возникли широко известные конфликты с правоохранительными органами. В последнее время Google реализовала используемое по умолчанию сквозное шифрование резервных копий данных телефонов; за ней последовала (довольно запоздало) и Apple.

Я не хочу преуменьшать объём необходимых для этого усилий, он был огромным. Но в то же время эти проекты оставались относительно простыми. Под этим я подразумеваю следующее: все шифруемые в этих проектах данные имеют общее свойство — их не должен обрабатывать сервер.

Очевидное ограничение сквозного шифрования заключается в том, что хоть оно может скрывать контент от серверов, одновременно оно может и сильно усложнить серверам вычисления с этими данными¹. Для данных наподобие облачных резервных копий и личных сообщений это нормально, потому что их содержимое в основном интересно только клиентам. Но для данных, требующих серьёзной обработки, возможности гораздо более ограничены. В каждом таком случае (например, когда телефон выполняет распознавание текста на фотографиях в галерее) разработчики обычно вынуждены выбирать один из двух вариантов. Они могут (1) отправлять на сервер незашифрованный текст, из-за чего снова всплывут уязвимости, для устранения которых и реализовывали сквозное шифрование. Или же (2) они могут ограничить обработку тем, что можно выполнить на самом устройстве.

Проблема второго решения заключается в том, что вычислительные ресурсы обычного телефона ограничены, не говоря уже об ОЗУ и заряде аккумулятора. Даже самый дорогой iPhone обычно выполняет обработку фото, пока он заряжается ночью, чтобы избежать разряда аккумулятора. Кроме того, оборудование телефонов очень разнообразное. У некоторых телефонов-флагманов за 1400 долларов есть встроенные GPU и нейродвижки. Но эти телефоны нечасто встречаются даже в США, не говоря уже обо всём мире. До сих пор можно купить приличный телефон на Android за пару сотен долларов или слабенький за гораздо меньшие деньги. Вычислительная мощь таких устройств варьируется очень сильно.

Итак, теперь мы готовы переходить к разговору об ИИ.

Если вы не живёте в лесу, то наверняка заметили взрывное развитие новых мощных моделей ИИ с потрясающими возможностями. В том числе и больших языковых моделей (Large Language Model, LLM), способных генерировать и понимать сложный текст на естественных языках, а также новых моделей обработки изображений, обладающих потрясающими возможностями. И вы, вероятно, заметили энтузиазм, с которым Кремниевая долина находит области применения для этой технологии. А поскольку разработчики телефонов и мессенджеров — это и есть Кремниевая долина, ваш телефон и его приложения не стали исключением. Даже если эти компании не знают точно, в чём ИИ будет полезен для их покупателей, они уже решили, что модели — это будущее. На практике это уже проявляется в разработке приложений для краткого изложения текстовых сообщений, систем, которые слушают и выявляют мошеннические телефонные звонки, моделей, распознающих оскорбительные изображения, а также новых систем, помогающих составлять тексты.

Моя мама: я чуть не померла в этом походе!
ИИ Apple: совершила попытку самоубийства, но вылечилась и была в походе в Редлендсе и Палм-Спрингс

И очевидно, что всё это лишь начало.

Если верить футуристам (а в данном случае, я думаю, что им стоит верить), все эти игрушки — лишь аперитив перед основным блюдом: развёртыванием ИИ-агентов, или же ваших пластмассовых друзей, с которыми всегда интересно.

Теоретически, эти новые системы агентов полностью избавят вас от необходимости возни с телефоном. Они будут читать вашу почту и текстовые сообщения, а потом отвечать на них. Они будут заказывать вам еду и находить самые выгодные предложения в онлайн-магазинах, подыскивать вам пару в приложениях для дейтинга, вести переговоры с кредиторами и в целом предвосхищать любое ваше желание или потребность. Единственный ингредиент, который им будет необходим для реализации этого светлого будущего — это практически неограниченный доступ к вашим конфиденциальным данным, плюс огромные вычислительные ресурсы для их обработки.

И тут мы подходим к самому тонкому аспекту.

Так как у большинства телефонов пока недостаточно ресурсов для запуска очень мощных моделей, и поскольку модели становятся всё лучше, а в некоторых случаях более проприетарными, высока вероятность, что основную часть вычислений (и обрабатываемых данных) нужно будет переносить на удалённые серверы.

И это первая причина того, что ИИ, по моему мнению, будет самой важной проблемой десятилетия для конфиденциальности. Мы не только скоро начнём переносить основные вычисления за пределы устройств, но и будем отправлять больше своих конфиденциальных данных. Эти данные будут изучаться всё более мощными системами, создающими относительно компактные, но ценные краткие сводки нашей жизни. В принципе, эти системы постепенно узнают о нас и о наших друзьях. Они будут читать наши самые интимные разговоры, возможно, даже угадывать подсознательные желания. Нам придётся столкнуться со множеством сложных вопросов об этих системах, в том числе и со сложными вопросами о том, а на нас ли они вообще будут работать.

Но я что-то слишком спешу, давайте начнём с вопросов попроще.

▍ Что означает применение ИИ для обмена сообщениями со сквозным шифрованием?

Современные системы обмена сообщениями со сквозным шифрованием дают конкретный список технических гарантий. Они спроектированы так, чтобы гарантировать недоступность текстового содержимого сообщений при передаче всем, за исключением участников в конечных устройствах и (здесь идёт Большая Звёздочка) всех, кому решили передавать эти данные участники или их устройства.

Последняя часть этого предложения очень важна, и очевидно, что не обладающих техническими знаниями пользователей она сбивает с толку. Системы обмена сообщениями со сквозным шифрованием подразумевают защищённую доставку данных. Но они не определяют, что с данными будет дальше. Если вы сделаете скриншот сообщений, создадите их резервную копию в текстовом виде, скопипастите данные в Twitter или передадите своё устройство правоохранителям в рамках гражданского иска, то это никак не будет связано со сквозным шифрованием. Как только данные доставлены с одного конца на другой, сквозное шифрование умывает руки.

Разумеется, существует разница между техническими гарантиями и обещаниями, которые даёт конкретный поставщик услуг своим клиентам. Например, Apple говорит о своём сервисе iMessage следующее:

«Apple не может расшифровывать данные»

Становится понятно, почему эти обещания могут иногда сбивать с толку! Например, представьте, что Apple сдержала своё обещание и доставляет сообщения защищённым образом, но потом ваш телефон (произведённый Apple) самостоятельно загружает содержимое сообщения (в текстовом виде) на другие серверы, где Apple на самом деле может расшифровать их. Да, Apple действительно использует сквозное шифрование, однако верно ли представленное на скриншоте утверждение? Держит ли Apple своё обещание в целом, что она «не может» расшифровать данные?

Примечание: я не собираюсь нападать на Apple! Это лишь один абзац из общих сведений о безопасности. В отдельном юридическом документе юристы Apple написали миллиард слов, чтобы прикрыть свои задницы. Я всего лишь хочу донести, что техническая гарантия отличается от обещаний пользователю.


Чтобы ещё больше усложнить картину, можно сказать, что вопрос не всегда заключается в ваших собственных действиях. Рассмотрим обещание, которое вы получаете каждый раз при запуске группового чата WhatsApp (см. скриншот выше.) А теперь представьте, что какой-то другой участник группы — не вы, а один из ваших придурков-друзей — решил включить какой-то сервис, загружающий (ваши) полученные сообщения в текстовом виде в WhatsApp. Можно ли сказать, что полученное вами сообщение по-прежнему описывает способ обработки ваших данных сервисом WhatsApp? Если нет, то как это изменить?

В общем случае мы задаём вопрос об информированном согласии. Согласие — это сложная тема, потому что это и моральная, и юридическая концепция, а законы в каждой стране свои. В статье Нью-Йоркского и Корнеллского университета сделан превосходный обзор юридических вопросов. Не хочу вас расстраивать, но вряд ли стоит ждать в этом случае защиты со стороны закона. Мне кажется, некоторые компании хорошо справляются с информированием своих пользователей с целью завоевать их доверие. Другие компании этим не занимаются. В США ваше согласие будет спрятано в запутанном документе об условиях использования, который вы никогда не прочтёте. В ЕС, скорее всего, просто изобретут ещё один баннер с предупреждением о куки.

«Мы ценим вашу конфиденциальность. Мы используем ИИ для повышения удобства вашего общения, демонстрации персонализированной рекламы и контента. Нажав «Accept All», вы даёте согласие на то, чтобы безликий монстр проник во все сферы вашей личной жизни. Кроме того, Василиск будет бесконечно имитировать вас».

Очевидно, это шутка. Хотя...

Итак, подведём итог: мир быстро движется к тому, что в ближайшем будущем всё больше наших данных будет обрабатываться ИИ, и существенная часть этой обработки будет происходить вне устройства. Хорошие сервисы со сквозным шифрованием будут активно информировать вас об этом, так что, вероятно, у нас будет возможность включать и отключать эти возможности. Но если эти технологии станут действительно повсеместными (как считают наши друзья-футуристы), то, вероятно, наши варианты действий окажутся довольно ограниченными.

— Магические амулеты?
— Инсценировать свою смерть и начать жить в подводной лодке?

Идеи, как защититься от инференса ИИ в своих личных сообщениях (взято у Джеймса Микенса)

К счастью, не всё потеряно. Об этой проблеме серьёзно задумались.

▍ Защищённое оборудование и Private Cloud Compute компании Apple

Хорошая новость заключается в том, что наше приближающееся ИИ-будущее не станет полной катастрофой с точки зрения конфиденциальности. И в большой мере благодаря тому, что озабоченные конфиденциальностью компании наподобие Apple предвосхитили проблемы, которые создаст инференс машинного обучения (а именно необходимость переноса вычислений на более мощное оборудование), и попытались с этим что-нибудь сделать. По сути, это новый тип облачного компьютера, который, по мнению Apple, достаточно надёжен, чтобы хранить наши конфиденциальные данные.

Напомню: как мы и говорили, Apple не может надеяться, что любому устройству хватит вычислительной мощи для выполнения инференса локально. То есть инференс будет переноситься в удалённую облачную машину. Тогда соединение телефона с сервером может быть зашифрованным, но удалённая машина всё равно получит конфиденциальные данные, которая она должна видеть в текстовой форме. Это создаёт серьёзный риск для такой машины. Её могут скомпрометировать и данные украдут хакеры, или хуже того — о ней узнает руководство отдела развития бизнеса Apple.

У Apple решение этой проблемы называется «Private Cloud Compute». В нём используются специальные устройства с защищённым оборудованием, работающие в дата-центрах Apple. «Устройство с защищённым оборудованием» — это компьютер, заблокированный и в физическом, и в логическом смысле. Устройства Apple производятся самой компанией и в них применяются специальные программные и аппаратные возможности. Одна из них — это Secure Boot компании Apple, обеспечивающая возможность загрузки только «разрешённой» операционной системы. Затем ОС использует подписывание кода, чтобы гарантировать возможность запуска только допустимых образов ПО. Apple обещает, что на этих машинах не хранится никакого долговременного состояния, и что при каждом вашем подключении она выполняет балансировку нагрузки, направляя запросы на разные серверы. Машины подтверждают выполняемое на них ПО приложений, то есть они объявляют хэш образа ПО (который сам должен храниться в логе прозрачности, чтобы избежать скрытного добавления нового ПО). Apple даже заявляет, что собирается публиковать образы своего ПО (весь его исходный код), чтобы исследователи безопасности могли проверять их на баги.

Цель этой системы — усложнить и для взломщиков, и для сотрудников Apple извлечение данных с этих устройств. Не могу сказать, что в восторге от этого. Можно и не говорить, что решение Apple — гораздо более слабая гарантия, чем шифрование; оно всё равно централизует огромный объём ценных данных, а его безопасность зависит от того, насколько качественно Apple реализует множество сложных программных и аппаратных мер безопасности, а не от математики алгоритма шифрования. Тем не менее, такой подход, очевидно, лучше, чем выбранный компаниями наподобие OpenAI, у которых данные обрабатываются серверами, доступными (предположительно) сотрудникам.

Хоть аналогов PCC у других компаний нет, мы можем надеяться, что другие озабоченные конфиденциальностью сервисы тоже ухватятся за эту идею. Если уж ИИ действительно должен быть повсюду, то, по крайней мере, результат окажется чуть более безопасным.

▍ На кого на самом деле работает ваш ИИ-агент?

Есть ещё куча важных вопросов, которые я не рассмотрел в этом посте, и я ощущаю вину, потому что так до них и не доберусь. Например, я не говорил об очень важной проблеме данных, используемых для обучения (и fine-tuning) будущих моделей ИИ, приводящей ко множеству других вопросов о конфиденциальности. Если вам любопытно, то эти проблемы обсуждались в статье Нью-Йоркского и Корнеллского университетов.

Но вместо этого я хочу перейти к рассмотрению ещё одного вопроса: на кого на самом деле будут работать эти модели?

Как говорилось выше, последнюю пару лет я следил за дебатами в Объединённом Королевстве и ЕС о новых законах, которые принудят автоматически «сканировать» личные зашифрованные сообщения. Законопроект ЕС нацелен на выявление и существующих, и новых материалов с сексуальной эксплуатацией детей (CSAM); также в него включены предложения по выявлению голосовых и текстовых бесед, представляющих собой «груминг». Проект Объединённого Королевства ещё более обширен, он включает контроль множества разных типов незаконного контента, в том числе риторику ненависти, террористический контент и мошенничество — в одной из предложенных поправок даже упоминаются «фотографии иммигрантов, пересекающих Ла-Манш на маленьких лодках».


Сканирование уже известных материалов CSAM не требует ИИ/ML, но для обнаружения почти всех остальных типов контента потребуется мощный инференс ML, работающий с конфиденциальными данными. (См. например, что необходимо для распознавания нового контента CSAM.) Планы по распознаванию голосового или текстового «груминга» или риторики ненависти потребуют ещё более мощных возможностей: не только преобразования голоса в текст, но и способности понять тему человеческих бесед без ложноположительных срабатываний. Сложно поверить, что политики вообще понимают, чего требуют. Тем не менее, некоторые из них действительно требуют этого, и в отдельных случаях очень рьяно.

Эти законопроекты пока не внедрены. Но в какой-то степени это вызвано сложностью создания систем ML, способных безопасным образом обрабатывать личные данные, а технические платформы противятся их созданию. Предлагаю вам представить мир, в котором мы добровольно создаём агентов общего назначения, способных выполнять эти задачи, а также многое другое. Вы можете сделать со своей стороны всё возможное, чтобы они оставались под контролем пользователя, но можете ли вы гарантировать, что так будет всегда?

Иными словами, будете ли вы вообще порицать государства за требование доступа к подобным ресурсам? И как вы их остановите? Задумайтесь, сколько времени и денег органы правопорядка смогут сэкономить, если зададут вашему агенту каверзные вопросы о вашем поведении и данных, например: «есть ли у этого пользователя потенциальные CSAM?» или «писал ли он в своих личных заметках что-то, что потенциально можно посчитать риторикой ненависти?» или «как думаешь, возможно, он жульничает с налогами?» Вы можете даже убедить себя, что эти вопросы «не нарушают конфиденциальность», потому что ни один живой сотрудник полиции не станет копаться в ваших бумагах, и правоохранительные органы узнают ответ, только если вы (вероятно) делаете что-то незаконное.

Это будущее беспокоит меня, потому что на самом деле не так важно, какие технические решения мы примем относительно конфиденциальности. Неважно, работает ли ваша модель локально или на облачном оборудовании — как только достаточно мощный агент будет установлен в ваш телефон, то останется лишь один вопрос: кому предоставлен доступ для общения с ним. Будете ли это только вы? Или мы отдадим приоритет государственным интересам и позволим выполнять мониторинг граждан в ущерб всяким там личным секретам?

Мне хотелось бы надеяться, что мы как общество сделаем в этом случае правильный политический выбор, но я вовсе в этом не уверен.

Примечания

1. (Кто-то считает, что Apple должна использовать для этих вычислений полностью гомоморфное шифрование [fully-homomorphic encryption, FHE], чтобы конфиденциальные данные оставались зашифрованными. Теоретически это возможно, но вряд ли практично. Самые лучшие современные схемы FHE на самом деле работают только с валидацией очень маленьких моделей ML, которые вполне могут работать на слабых клиентских устройствах. Хоть схемы и оборудование будут совершенствоваться, я подозреваю, что этот барьер будет существовать ещё долгое время.) ↩

Telegram-канал со скидками, розыгрышами призов и новостями IT ?