После утечки данных от Сноудена стало понятно, что АНБ собирает данные на всех граждан до совершения преступлений, а не на конкретных подозреваемых после преступления.

Аналогичную практику сбора разведданных на всех граждан до совершения преступления начали практиковать и в других странах, в том числе России. Речь идёт о длительном хранении интернет-трафика, сведений о перемещении, звонков, записей видеонаблюдения и т.д. Это очень удобно, ведь в случае необходимости найдутся улики практически на любого человека.

Разумеется, для быстрого поиска в таком огромном массиве данных требуется специальный софт.

Облачная инфраструктура

Роль своеобразной «облачной инфраструктуры» для информационной сети АНБ сейчас выполняет дата-центр Шмель (Юта), рассчитанный на хранение 5 зеттабайт данных. Это был последний крупный ЦОД, созданный по заказу спецслужб, и теперь они постепенно переходят в облако, причём частично используют инфраструктуру обычных провайдеров, начиная с AWS.


Станция Menwith Hill: небольшой дата-центр АНБ в Великобритании, обрабатывает более 300 млн телефонных звонков и электронных сообщений в сутки

В частности, АНБ к 2018 году перенесло большую часть своих данных в облако Intelligence Community GovCloud, которое работает на собственной инфраструктуре АНБ (on-premise), на стандартном железе, но с использованием множества уникальных наработок АНБ по аппаратной и программной части.

Обширное разведывательное сообщество США в качестве альтернативы может использовать гибридное облако Commercial Cloud Enterprise (C2E) от ЦРУ, работающее на мощностях пяти коммерческих провайдеров: AWS, Microsoft, Google, Oracle и IBM.

Идёт работа по созданию ещё одного гибридного облака на публичной инфраструктуре Hybrid Compute Initiative, которое придёт на смену C2E.

Волшебные палантиры

Палантир Сарумана, кадр из фильма «Властелин колец: Две крепости»

Какой софт используют разведывательные агентства?

В области дата-майнинга основным подрядчиком для спецслужб считается Palantir Tenchonologies.

Компания основана в 2003 году группой инвесторов во главе с Питером Тилем. Питер Тиль вместе с Илоном Маском известны как основатели финансовой компании PayPal Inc. Однако в 2002-2003 гг их пути разошлись: первый основал Palantir, а второй запустил сразу два стартапа: SpaceX и Tesla. Все эти фирмы созданы на миллиарды, заработанные молодыми стартаперами на продаже PayPal гиганту eBay.

Итак, Питер Тиль увидел коммерческую возможность в разработке софта по заказу ЦРУ и АНБ, что обеспечит фирме безбедное существование и огромные контракты на протяжении длительного времени.

Название для фирмы выбрали соответствующее: Палантир — это магический камень во вселенной Толкина, который позволяет увидеть то, что происходит в настоящее время в другом месте или происходило в прошлом. Здесь очевидна аналогия c дата-майнингом конкретных целей через программное обеспечение Palantir.

Первым инвестором в стартап стало ЦРУ (через своё венчурное крыло In-Q-Tel).

Софт

Питер Тиль переманил к себе нескольких программистов PayPal, которые в 2004 году написали первый прототип системы для демонстрации потенциальным клиентам из разведывательного сообщества.

Что конкретно делает софт Palantir? По сути это продвинутая поисковая система, объединяющая разрозненные данные из множества источников, из сотен баз данных, которые собирает и хранит АНБ. Сами разработчики называют эту систему аугментацией разведки (intelligence augmentation), поскольку она сочетает компьютерный ИИ и труд людей-аналитиков.

Система индексирует всю эту информацию, чтобы в реальном отвечать на поисковые запросы пользователя. Например, выдать список всех членов наркокартеля. Софт находит «скрытые» связи между людьми и организациями, что раньше требовало месяцев кропотливого изучения документов десятками следователей.


Страница из презентации Palantir для государственных клиентов, утечка

Лицензии на Palantir продаются по количеству пользователей — следователей и оперативников — которые имеют доступ к системе. Дополнительную плату берут за обучение. Например, в 2011 году агентство US Immigration and Customs Enforcement купило лицензии для 1150 своих сотрудников за $7,5 млн.

Кроме основного продукта для ЦРУ и АНБ, компания разрабатывает коммерческие решения для обычных заказчиков. Это четыре платформы, в продаже три:

1. Metropolis (бывш. Finance), продажи прекращены
   
2. Foundry
   
3. Gotham (бывш. Government)
   
4. Apollo

В них используются те же фирменные технологии вычислительной аналитики и интеграции данных (из разрозненных источников), что и в основном софте.

Foundry позиционируется как «операционная система современного предприятия». Это корпоративная система для интеграции всех доступных данных и принятия решений.

Смежная система Palantir Gotham используется для описания свойств и отношений между объектами. Его базовая модель, по сути, является графом.


Скриншоты системы Palantir Gotham

Gotham выполняет нисходящий анализ (начиная с некоторых описательных статистических данных о наборе объектов или событий и итеративно уточняя набор), а также восходящий анализ (он начинается с одного или нескольких объектов — и расширяя набор путём поиска и добавления похожих или связанных объектов).

В свою очередь, Metropolis выполняет математический анализ поведения моделей во времени и поддерживает агрегированный анализ: клиент выбирает набор моделей и период времени — и проводит над ними сложные математические расчёты.

Далее, Gotham поддерживает геопространственный анализ. Вы можете нанести местоположение сущностей на карту и проанализировать, как они меняются со временем, а также импортировать произвольные шейп-файлы для отображения и использования в запросах.

Gotham работает с неструктурированными данными. Система соединяет объекты в графе и находит недостающие фрагменты, используя данные, например, из социальных сетей.

В отличие от неё, у Metropolis базовая модель построена на временных рядах, то есть по сути представляет поток событий. Хотя система снята с продажи, но этот подход (с временными рядами и потоком событий) нашёл воплощение в других продуктах Palantir.


Palantir Apollo

Наконец, Palantir Apollo — система для управления и развёртывания Gotham и Foundry, она создана в связи с необходимостью использования клиентами нескольких публичных и частных облачных платформ в рамках своей инфраструктуры. Apollo организует обновление конфигураций и программного обеспечения платформ Foundry и Gotham с использованием архитектуры микросервисов. Этот продукт позволяет компании Palantir предоставлять программное обеспечение как услугу (SaaS), а не работать как консалтинговая компания.

Функциональность этих коммерческих систем примерно совпадает с функциональностью софта Palantir, который находится в распоряжении ФБР, ЦРУ, АНБ и других разведывательных агентств. Разница только в наборе данных, объёме и скорости вычислений.

Большие данные — это новая нефть

Можно предположить, что программное обеспечение Palantir не уникально. Наверняка подобные системы разрабатываются и/или эксплуатируются спецслужбами и других стран. Например, в РФ по закону Яровой идёт сбор таких же огромных объёмов данных. И кто-то наверняка хочет извлечь выгоду из их использования.

Всем операторы связи в России обязаны поддерживать систему СОРМ-3 (система технических средств для обеспечения функций оперативно-разыскных мероприятий). Система СОРМ-3 создана как дистанционная, когда сотрудник спецслужб сидит у пульта управления и вводит команды, которые удалённо передаются в сеть оператора связи. По мнению некоторых экспертов, российская система СОРМ очень похожа на американскую систему тотальной прослушки PRISM, которую рассекретил Эдвард Сноуден.

Среди документов Сноудена был опубликован список некоторых целей по сбору данных АНБ. Это поисковые запросы каждого пользователя, посещённые сайты, загруженные видеоролики (программа Aladdin по сбору данных о загружаемых видео), полученная и отправленная почта, активность в соцсетях, комментарии, звукозаписи телефонных переговоров с биометрической идентификацией личности по голосу (программа Babel для быстрого полнотекстового поиска по звукозаписям), видеозвонки, ДНК, онлайновые игры (программа Reynard по анализу профилей игроков массивных многопользовательских игр) и многое другое. Каждый тип данных нуждается в классификации, индексировании и отдельном анализе.


Использование системы Palantir предполагается для дата-майнинга данных, извлечённых из сети жертвы в результате кибератаки, из секретной презентации GCHQ

Мрачное будущее

В недавнем отчёте аналитической группы JDC "The Future of Government 2030+" указано, что программное обеспечение Palantir успешно применяется правительственными агентствами не только США, но также Великобритании, Германии, Дании. Эксперты предполагают, что в будущем такой дата-майнинг станет привычной практикой в государственном управлении. Вот как они видят один из четырёх возможных сценариев социального устройства через десять лет:


Источник: "The Future of Government 2030+", стр. 42

• раздача всем гражданам электронных eID с чипами,
  
• использование моделей ИИ для формирования мнения избирателей,
  
• продажа людьми своих персональных данных для покупки сервисов,
  
• глобальная власть транснациональных цифровых корпораций.

С точки зрения национальных правительств это пессимистичный сценарий. Предполагается, что общество должно приложить все силы, чтобы этот сценарий не реализовался. Для этого нужно изменить существующие тренды, указанные в левой части, иначе финиш может быть неприятным.

С другой стороны, кто-то может принять эту схему как логичный маршрут к неизбежному киберпанку.

Есть и альтернативные сценарии: 1) сверхрегулирование со стороны государства; 2) прямая демократия с исчезновением бюрократических барьеров; 3) общественное самоуправление (DIY-демократия).

Возможно, разные страны сначала пойдут по разным сценариям развития, прежде чем эти отличия нивелируются в более отдалённом будущем.