Нас в компании IDX, которая занимается легальным удостоверением персональных данных, естественным образом интересует все, что связано с ПД, даже если оно выходит за рамки нашей операционной деятельности. При этом, мы естественно держим в голове одну мысль — не пора ли нам тоже этим заняться, чтобы дополнить и обогатить наши сервисы.
В последнее время популярная аббревиатура OSINT(Open‑source Intelligence — расследование по открытым источникам) незаметно переползла из контекста журналистских расследований в стиле Bellingcat и других специалистов, которых иногда называют обидным прозвищем «разгребатели грязи» (muckrakers), в сферу кибербезопасности и утвердилась там в качестве, как минимум, модного направления, которое у всех на слуху.
Что ж, давайте разбираться.
У меня, бывшего системного аналитика, действующего переводчика и вечного книжного червя, с детства засело в памяти выражение героя школьного романа, ныне мало популярного, но с неизменно актуальным названием: «… по каждому предмету капитальных сочинений очень немного… Надобно читать только их». Я и до сих пор считаю, что если ты сам не стоял у истоков темы, но хочешь разобраться, надо начинать с чтения этих капитальных сочинений.
Вот эти сочинения, рекомендованные специалистом по OSINT, который нынче консультирует компанию IDX:
Michael Bazzell. OSINT TECHNIQUES: RESOURCES FOR UNCOVERING ONLINE INFORMATION. (2023), 550 стр., десятое издание, дополненное переизданием раздела книги, посвященного утечкам, взломам, кражам и шифрованию с целью получения выкупа: Michael Bazzel. Leaks, Breaches, Logs, & Ransomware (2024), 170 стр.
Michael Bazzel. EXTREME PRIVACY: WHAT IT TAKES TO DISAPPEAR (2020), 577 стр. второе издание.
CYNTHIA HETHERINGTON. OSINT: THE AUTHORITATIVE GUIDE TO DUE DILIGENCE. (2024), 475 стр., третье издание.
OSINT Investigations We know what you did that summer, by Information Warfare Center.
Книжки, как видите, все толстые, и обещали многое пытливому читателю. Для любителей быстрых выводов сразу сообщу, что ожидания не оправдались. Если совсем просто, то OSINT состоит грубо из трех частей:
1) учебник по поиску в интернете,
2) учебник по методикам оценки надежности бизнес партнера (due diligence),
3) учебник по работе в OS Linux (MAC OS для изнеженных эстетов), особенно по мастерству владения командным интерфейсом CLI, который теперь чаще называют Terminal commands — по имени популярной утилиты, дающей доступ к командной строке.
Если вы все это умеете, можете спокойно считать себя специалистом по OSINT.
Один из авторов прочитанного мной сборника статей с игривым названием “Мы знаем, что вы делали тем летом” (слегка искаженное название популярной хоррор-франшизы), так прямо и говорит — мы все, сами того не зная, уже владеем зачатками навыков в OSINT (как герой бессмертной комедии Фонвизина, который всю жизнь говорил прозой, сам того не подозревая, добавлю я от себя). Сборник статей выпущен организацией с довольно грозным названием Information Warfare Center (Центр боевой информатики).
Что же дальше? С учетом того, что инструменты OSINT оказались довольно тривиальными, надо понять цель этого рода деятельности. При ближайшем рассмотрении оказывается, что интенция не поменялась по сравнению с журналистскими расследованиями — непременно чего-нибудь раскопать, разоблачить и нажить на этом если не денег, то славы. Сделать что-нибудь тайное явным и полезным. В отличие от журналистских расследований, которые интересуются какими-нибудь неблаговидными действиями, заодно выясняя, кто за ними стоит (например, кто убил и по чьему заказу), OSINT в области кибербеза — это удивительным образом вечная охота за какими-нибудь персональными данными, и чем они чувствительнее, тем лучше для охотника.
В приличном обществе такое времяпрепровождение называют “совать нос в чужие дела” и относятся к нему презрительно, но где оно, это приличное общество? — иных уж нет, а те далече. Всегда есть оправдание, что при нашей жизни мир вдруг покатился в тартарары, так что не до чистоплюйства, каждый выживает как может. OSINTовцы не упускают случая заявить, что они — не хакеры, что OSINT, например, это не доксинг. Напомню для тех, кто не, что доксинг (doxing или doxxing), он же деанон — это термин из сленга хакеров, который означает акт публичного раскрытия приватной информации о личности или организации, обычно средствами Интернета. В хакерской этике деанон — это заложить товарища по движению. В OSINT предполагается, что это благое дело с благими намерениями.
И чем это отличается от хактивизма (hacktivism)? Напомню, что хактивизм оформился в 1999 году как крайняя форма стремления к свободе информации (Freedom of Information), порожденного массовым недовольством закрытости данных о деятельности правительств.
Тем не менее, даже прожженные расследователи признают, что “этическая сторона практики OSINT имеет значение, потому что включает обработку персональных данных, что может нарушать неприкосновенность частной жизни”.
Вот таким фиговым листком пользуются в этом роде деятельности.
В первом учебнике из приведенного списка Майкл Баззел вводит определения типов данных, которые используются для OSINT.
Начинается все невинно, с утечек (leaks). Неоднократно обсуждались двусмысленность и лукавость этого термина. Как будто банки данных, в которых эти данные хранятся, способны сами «прохудиться», а данные утечь через образовавшиеся дырки. Речь здесь о том, что «утечка данных» произошла не в результате чьих‑то злонамеренных действий, а в результате чьего‑то разгильдяйства и головотяпства, или же из‑за несовершенства регулирования доступа к этим данным. Популярный пример — это данные об избирателях, которые в США можно законно купить, а потом законно опубликовать.
Вторая категория данных, которую вводит Баззел, это территория криминального мира. Взломы (breaches) просто так взломами не назовут. В свое время были взломаны базы данных пользователей Твиттера и Линкедина, а их адреса электронной почты опубликованы. В сети валяются результаты десятков тысяч взломов, содержащие миллиарды незашифрованных паролей большинства сетевых пользователей. Получение доступа и скачивание данных ведет к проблемам с правосудием, а их дальнейшая публикация тем более. Тем не менее, владение этими данными и их исследование стало весьма обычным делом даже для законопослушных пользователей интернета.
Коллекции данных, собранные вредоносным ПО с компьютеров пользователей, на которых это ПО было установлено тайно или в результате обмана руками самого пользователя называют stiller logs (журналы воришки) или просто logs (журналы). Кажется, что это какой-то раритетный способ, но, тем не менее, сотни тысяч таких журналов ежедневно публикуются и содержат, например, пароли тех пользователей, которые не попали в утекшие или взломанные базы. Вообще чувствительная личная информация в таких журналах может быть гораздо более точной, чем в утечках и взломах. Опять же, способ добычи этих данных очевидно криминален, а их использование в расследованиях… э‑э-э‑э… мы не уверены.
Еще один вид криминально добытых данных — умышленно зашифрованные злоумышленниками данные на компьютерах частных компаний с целью получения выкупа за их возвращение в исходное состояние, чтобы восстановить работоспособность корпоративных систем (ransomware). Они часто публикуются в случае неполучения выкупа или обмана после получения. Та же самая история — объедки со стола злоумышленников.
Понятно, что для расследований можно использовать и стопроцентно легальные данные, находящиеся в общем пользовании по определению, по‑английски это называют просто public records. По‑русски часто их называют просто социальными реестрами, но далеко не все социальные реестры в России свободно доступны, к тому же данные целых категорий граждан из этих реестров исключаются в соответствии с мудрой политикой партии и правительства.
Даже из беглого обзора, что скрывается за буквами O и S в аббревиатуре OSINT, ясно, что OSINT как вид деятельности (профессиональной или любительской) — это этическое минное поле. Без четкого определения своей позиции, как актора, а также своих мотивов, можно подорваться уже на самом краю этого поля, особенно действуя в одиночку.
Разумеется, техники OSINT можно и нужно, и даже приходится использовать для защиты. Например, компания, пострадавшая от взлома или от непроизвольной утечки данных может захотеть идентифицировать, что же именно было украдено или утеряно. Это та же самая работа с украденными или утерянными данными. По требованиям законодательства многих стран жертвы кибератак обязаны уведомлять своих клиентов о произошедшей утере их данных, но перед этим неплохо бы установить, данные каких именно клиентов утрачены. Для защиты от будущих атак профессионалы кибербеза обязаны ежедневно исследовать вновь опубликованные украденные данные, чтобы предупредить своих клиентов о возможных атаках. Существует целое направление кибербеза, которое теперь называют Threat Intelligence, включающее работу в техниках OSINT.
И тем не менее, все эти случаи применения OSINT для целей защиты являются лишь ответом на гораздо более многочисленные действия нападения на частную жизнь граждан, доверяющих свои данные социальным сетям и корпорациям.
И в заключение еще пару слов об инструментарии OSINT для анализа собранных данных.
На конец 2024 года профессионал OSINT Майк Баззел все еще считает, что использование СУБД для обработки результатов исследования по открытым источникам не оправдано по затратам и взамен описывает рекомендованный им набор файловых структур с тематическим разбиением данных, поисковых запросов по этим файлам и скриптов для автоматизации работы. Как я уже говорил, профессионалу, владеющему инструментарием OS LINUX и OS MAC OS на приличном уровне, все это может показаться довольно трогательным.
В наше время всюду, где бигдата, тут же появляется надежда применить для ее обработки нейросеть. Предварительно сеть, конечно, надо обучить, а для формирования обучающего набора данных и тестового набора данных нужно понимать, на какие вопросы мы хотим получать ответы от нейросети. После такой тренировки можно надеяться, что модель сама будет искать дополнительные данные в интернете и лучше обобщать сделанные из них выводы.
Для компании IDX, которая занимается стопроцентно легальным удостоверением персональных данных, это было бы очень полезно для развития бизнеса. Перспективы сочетания OSINT и AI — пока открытый вопрос, по крайней мере для меня. Постараюсь ответить на него в следующих публикациях.
CodeByZen
Как-то вы путаете спортсменов и пробивал. OSINT в публичном поле это просто спорт, что доказывают многочисленные чатики в телеге. Однако работа с БД которую вы описываете, туда же добавляете взломы какие-то это уже не OSINT. Т.к. там нет Open Source. Я понимаю, что все эти ГБ, юзербоксы, химеры и прочие штуки породили массу школьников называющих себя OSINT аналитиками, но они отношения не имеют к OSINT никакого. А у вас Владимир видимо взыграло чувство справедливости и вы всех под одну гребёнку зачесали. Стоит пересмотреть свою позицию и разделить OSINT в белых шляпах от пробивщиков.