Все таргетированные хакерские атаки начинаются с разведки. Социальные инженеры, красные команды и отдельные пентестеры также собирают информацию о своих целях перед тем, как перейти к активным действиям. Им помогают десятки инструментов и хаков. Под катом ссылки на некоторые из них.

Пост состоит из 8 объемных разделов:

1. метапоисковики и поисковые комбайны;

2. инструменты для работы с дорками;

3. поиск по электронной почте и логинам;

4. поиск по номерам телефонов;

5. поиск в сети TOR;

6. поиск по интернету вещей, IP, доменам и поддоменам;

7. поиск данных об уязвимостях и индикаторов компрометации;

8. поиск по исходному коду.

В этом списке собраны инструменты, которые члены нашей команды используют в работе. И все же, эта подборка пригодится не только пентестерам, но и разработчикам, журналистам, HR, маркетологам и всем, кто много ищет в интернете. Знания — это сила. Используйте их во благо.

Как в случае инструментов для анализа зловредов или компьютерной криминалистики, я распределил инструменты на группы для удобства, в соответствии со своими представлениями о прекрасном. Список наверняка неполон, а некоторые ссылки вполне могли бы находиться в других разделах. Поскольку речь идет о поиске, в подборку не вошли многочисленные сканеры и другие инструменты для активного исследования компьютерных сетей, за исключением тех, что умеют в пассивный поиск по открытым источникам.

Метапоисковики и поисковые комбайны

Онлайн-сервисы

• Hopain Tools, Inteltechniques, IntelligenceX, Aware OSINT Tools — представляют собой стартовые страницы для десятков поисковых систем общего и специального назначения. Все они явно ориентированы на OSINT.

• Fagan Finder — панель с десятками поисковиков по библиотекам, архивам и базам данных.

• Dogpile, iZito, zapmeta — метапоисковики, которые агрегируют результаты из Google, Yandex, Bing и других популярных поисковых систем и выводят на одну страницу.

• Metaosint — поисковик по поисковым системам. Предоставляет удобный интерфейс для поиска других инструментов.

• Synapsint — метапоисковик с возможностью поиска по IP, SSL, ASN, CVE, email и телефонным номерам.

• ThatsThem — комбинированный поисковик по именам, адресам, телефонам, адресам электронной почты и IP.

• Carrot² — поисковик со встроенным алгоритмом кластеризации текста. Автоматически объединяет в группы тематически связанные источники.

• Isearchfrom — имитирует поисковые запросы к Google из различных стран. Помогает понять, как региональные ограничения влияют на поисковую выдачу.

• Answerthepublic — англоязычный поисковик, который выдает распространенные поисковые запросы по заданному словосочетанию.

Утилиты

• C — поиск из командной строки в 106 источниках.

• SpiderFoot — инструмент для автоматизации поисковых запросов и экспорта результатов в CSV, JSON, GEXF. Заточен под задачи red team. Снабжен встроенным веб-интерфейсом.

• Query-Server — инструмент для отправки поисковых запросов в Google, Yahoo, Bing, Ask, DuckDuckGo, Baidu, Exalead, Quora, Parsijoo, Dailymotion, Mojeek и Youtube и записи результатов в CSV, JSON или XML.

• Recon-ng — фреймворк для разведки по открытым источникам. Позволяет искать практически все от логинов, номеров телефонов и адресов, до файлов с бухгалтерской отчетностью, попавших в открытый доступ. Внешне напоминает Metasploit Framework.

• Querytool — инструмент OSINT, основанный google-таблицах. Предназначен для сложного поиска людей, адресов электронной почты, файлов и многого другого.

• Maltego Community Edition — это бесплатная версия OSINT-инструмента для сбора информации из Whois, поисковых систем, социальных сетей и выявления корреляций между людьми, адресами электронной почты, логинами, компаниями, веб-сайтами, доменами и т. д.

• sn0int — фреймворк для сбора и полуавтоматической обработки информации о поддоменах, IP-адресах, скомпрометированных учетных записях, телефонных номерах и профилях в социальных сетях.

• theHarvester — консольная утилита для сбора информации для реддтиминга. Позволяет выполнять активную и пассивную разведку при помощи различных поисковых систем. Собирает имена, адреса электронной почты, IP-адреса, поддомены и URL-адреса.

• ReconSpider — краулер для поиска IP-адресов, электронных писем, веб-сайтов, организаций и поиска информации из разных источников.

• Mr.Holmes — инструмент сбора информации о доменах, именах и телефонных номерах пользователя с помощью общедоступных источников и Google Dorks.

• Datasploit — инструмент OSINT, который можно найти в Kali или BlackArch Linux. Предназначен для сбора данных по определенному домену, электронной почте, имени пользователя или номеру телефона и сохранения отчетов в текстовых файлах, HTML и JSON.

• YaCy — децентрализованная поисковая система с открытым исходным кодом. Позволяет развернуть собственный поисковик.

Инструменты для работы с дорками

Онлайн-сервисы

• Google Hacking Database — пополняемый каталог дорков со встроенным поиском.

• Dorksearch — поисковая система со встроенным конструктором дорков.

• Bug Bounty Helper — еще один онлайн-конструктор google dorks для поиска «деликатных» страниц.

Утилиты

• pagodo — автоматизирует поиск потенциально уязвимых веб-страниц при помощи дорков из вышеупомянутой Google Hacking Database.

• Grawler — PHP-утилита с веб-интерфейсом для автоматизации использования Google Dorks, очистки и сохранения результатов поисковой выдачи.

• DorkScout — еще один инструмент для автоматизации поиска с использованием дорков. Написан на Golang.

• oxDork — утилита для поиска уязвимостей и неправильных конфигураций веб-серверов.

• ATSCAN SCANNER — предназначен для поиска с использованием дорков и массового сканирования веб-ресурсов на уязвимости.

• Fast Google Dorks Scan — автоматизированный инструмент для сбора информации о конкретном веб-сайте при помощи дорков.

• SiteDorks — готовый набор поисковых запросов для Google, Bing, Ecosia, DuckDuckGo, Yandex, Yahoo и так далее. Включает 527 веб-сайтов.

Поиск по электронной почте и логинам

Онлайн-сервисы

• Snusbase — индексирует информацию из утечек и дает доступ к поиску по скомпрометированным адресам электронной почты, логинам, именам, IP-адресам, телефонам и хешам паролей.

• have i been pwned? — поисковик по утечкам данных. Позволяет проверить, в каких инцидентах участвовал конкретный адрес электронной почты.

• Hunter и Skymem — поиск корпоративных email-адресов по URL.

• whatsmyname — поиск учетных записей в различных сервисах по логину. В основе сервиса лежит общедоступный JSON.

• User Searcher — бесплатный инструмент, который поможет найти пользователя по логину на более чем 2 тыс. веб-сайтов.

• CheckUserNames, Instant Username Search, Namecheckr, peekyou, usersearch — онлайн-сервисы для поиска аккаунтов пользователя по логину.

Утилиты

• Infoga — инструмент, для сбора информации об учетных записях по электронной почте из общедоступных источников (поисковые системы, серверы ключей PGP, Shodan) и проверяющий, не произошла ли утечка электронной почты, с помощью API haveibeenpwned.com.

• Holehe OSINT — проверяет, привязана ли электронная почта к учетным записям на таких сайтах, как twitter, instagram, imgur. Поддерживает более 100 порталов. Использует функцию восстановления пароля.

• Mailcat — ищет адреса электронной почты по нику у 22 почтовых провайдеров.

• WhatBreach — инструмент OSINT, упрощающий задачу обнаружения утечек, в которых участвовал конкретный адрес электронной почты. Умеет загружать общедоступные базы данных.

• h8mail и pwnedOrNot — инструменты для поиска паролей от скомпрометированных адресов электронной почты в общедоступных базах данных.

• Sherlock — инструмент для поиска аккаунтов в социальных сетях по логину пользователя.

• Snoop Project — инструмент для поиска по логинам. По уверениям разработчика охватывает более двух с половиной тысяч сайтов.

• Maigret — собирает досье на человека логину, проверяя аккаунты на двух с половиной тысячах сайтов и собирая всю доступную информацию с веб-страниц. Ключи API не требуются. Форк Sherlock.

• Social Analyzer — API, интерфейс командной строки и веб-приложение для анализа и поиска профилей человека на более чем 1 тыс. сайтов.

• NExfil — python-утилита для поиска профилей по имени пользователя на 350 веб-сайтах.

• SPY — еще один быстрый поисковик по именам аккаунтов, работает с 210 сайтами.

• Blackbird — инструмент для поиска аккаунтов по логину в социальных сетях.

• Marple — упрощает поиск по логину через общедоступные поисковые системы от Google до Torch и Qwant.

• GHunt — модульный инструмент для сбора данных о google-аккаунтах.

• UserFinder — инструмент для поиска профилей по имени пользователя.

Поиск по номерам телефонов

Утилиты

• Moriarty — утилита для реверсивного (обратного) поиска по телефонным номерам. Позволяет найти владельца, получить ссылки, страницы социальных сетей и другую связанную с номером информацию.

• Phomber — выполняет поиск по телефонным номерам в интернете и извлекает все доступные данные.

• PhoneInfoga — известный инструмент для поиска международных телефонных номеров. Сначала выдает стандартную информацию, такую как страна, регион, оператор связи по любому международному телефонному номеру, а затем ищет его следы в поисковых системах, чтобы помочь идентифицировать владельца.

• kovinevmv/getcontact — утилита для получения информации из баз приложения GetContact (не подходит для парсинга, позволяет выполнить только ограниченное число запросов).

Поиск в сети TOR

Онлайн-сервисы

• IACA darkweb tools — стартовая страница для двух десятков поисковых систем, работающих с TOR и доступных из обычного веба.

• Ahmia.fi — еще один поисковик по сети TOR. Выделяется открытым исходным кодом.

• SearchDemon, Phobos, Tor66, ExcavaTOR, Raklet, SeИtoЯ, Torch, OnionLand Search — поисковые системы, работающие внутри сети TOR.

• Exonera Tor — база данных IP-адресов, которые были частью сети Tor. Поисковик отвечает на вопрос, работал ли ретранслятор Tor на этом IP-адресе в выбранную дату.

• Relay Search — веб-приложение для обнаружения ретрансляторов и мостов Tor, предоставляющее информацию о том, как они настроены. Имеет открытый исходный код.

Утилиты

• TorBot — удобный Onion краулер. Собирает адреса и названия страниц с кратким описанием, получает адреса электронной почты с сайтов, проверяет, активны ли ссылки, и сохраняет отчеты в JSON. Может быть запущен в Docker.

• VililantOnion — Onion краулер с поддержкой поиска по ключевым словам.

• Katana-ds — Python-инструмент для автоматизации поиска с использованием Google Dorks и с поддержкой TOR.

• OnionSearch — скрипт Python3 для автоматизации поиска в зоне .onion через общедоступные сервисы.

• Devils Eye — это инструмент OSINT для поиска в Darkweb. Не требует установки TOR. Также может искать в сети i2p.

Поиск по интернету вещей, IP, доменам и поддоменам

Онлайн-сервисы

• Shodan — знаменитая поисковая система для сбора информации об устройствах, подключенных к интернету.

• Censys Search, GreyNoise, ZoomEye, Netlas, CriminalIp — аналогичные Shodan поисковые системы, ориентированные на IoT.

• Buckets by Grayhatwarfar — база данных с общедоступным поиском по открытым AWS Buckets, Azure Blobs, Digital Ocean Spaces.

• Public buckets — поиск общедоступных бакетам AWS S3 & Azure Blob.

• macaddress.io, MAC Vendor Lookup, maclookup.app — определяют производителя устройства по MAC-адресу, OUI или IAB.

• CIRT, Default Password Lookup, Router Password, Open Sez Me — поиск по базам данных паролей, установленных по умолчанию на различных устройствах.

• sitereport.netcraft — выдает комплексную сводку по регистрационным данным и технологиям, используемым на веб-сайте.

• IPVoid — набор инструментов для исследования IP-адресов: проверка по черным спискам, Whois, поиск по DNS, пинг.

• who.is, DomainDossier, whois.domaintools — поиск по регистрационным данным и Whois.

• DNSDumpster — инструмент для исследования доменов, который может обнаруживать хосты, связанные с доменом.

• ip-neighbors — определяет местоположение сервера, и имена хостов, которые делят с ним IP-адрес.

• ShowMyIP — массовый поиск IP-адресов, позволяет проверять до 100 IP-адресов одновременно. Выдачу можно загрузить сохранить в .csv-файл.

• MX Toolbox — еще один многофункциональный инструмент, позволяющий искать по доменному имени, IP-адресу или имени хоста.

• DNSViz — это набор инструментов для анализа и визуализации системы доменных имен. Имеет открытый исходный код.

• infosniper, ip2geolocation, ip2location, ipfingerprints, whoismind — поисковики, которые позволяют найти приблизительное географическое местоположение IP-адреса, а также другую полезную информацию, включая интернет-провайдера, часовой пояс, код города и т. д.

• webmeup, openlinkprofiler, Meet Link Explorer — поиск по обратным ссылкам.

• RapidDNS — инструмент для DNS-запросов, который упрощает поиск поддоменов или сайтов с одним и тем же IP-адресом.

• CTSearch, crt — поиск по SSL/TLS сертификатам, выпущенным для конкретного домена.

Утилиты

• IVRE — фреймворк для сетевой разведки. Альтернатива Shodan, ZoomEye, Censys и GreyNoise.

• OWASP Amass — сетевой сканер с функцией поиска информации в открытых источниках. Агрегирует информацию из десятков различных поисковых систем и баз данных.

• Infoooze — инструмент OSINT на базе NodeJs. Объединяет в себе сканер портов и поддоменов, поиск DNS-поиск URL-сканер, поиск в Whois и еще ряд инструментов.

• Automater — утилита для поиска URL, IP-адресов и хешей MD5, предназначенная для упрощения работы ИБ-аналитиков. Установлена в Kali Linux по умолчанию.

• Raccoon — инструмент, созданный для разведки и сбора информации с упором на простоту. Использует Nmap для сканирования портов и ряд пассивных методов поиска данных, чтобы собрать всестороннюю информацию о цели.

• Mitaka — предназначена для поиска IP-адресов, MD5, ASN и биткойн-адресов.

• Photon — сканер для работы с информаций из открытых источников. Предназначен для сканирования конкретных веб-сайтов в поисках (pdf, png, xml и т. д.), ключей, поддоменов и многого другого. Экспортирует полученные данные в JSON.

• AttackSurfaceMapper — сканер с функциями поиска по открытым источникам. Ищет поддомены и связанные с ними IP-адреса.

• HostHunter — использует методы разведки по открытым источникам для сопоставления IP-адресов с именами хостов. Выгружает результаты поиска в CSV или TXT-файлы.

• Subfinder — модульный инструмент для обнаружения поддоменов при помощи методов пассивной разведки. Предназначен для багхантеров и пентестеров.

• Sublist3r — предназначен для поиска поддоменов с использованием OSINT.

• WASP Amass — выполняет сетевое картирование при помощи информации из открытых источников.

• Anubis — еще одна утилита для обнаружения поддоменов и сбора информации о них из открытых источников.

• DOME — скрипт python, выполняющий активное и/или пассивное сканирование для получения поддоменов и поиска открытых портов.

• Belati — инструмент для сбора общедоступных данных и документов с веб-сайтов Вдохновлен Foca и Datasploit.

Поиск данных об уязвимостях и индикаторов компрометации

Онлайн-сервисы

• MITRE CVE — поисковик, база данных и общепринятый классификатор уязвимостей.

• NIST NVD — поиск по официальной американской правительственной базе данных об уязвимостях.

• GitHub Advisory Database — база данных уязвимостей, включающая CVE и рекомендации по безопасности.

• CVEDetails, osv.dev, VulDB, maltiverse — еще ряд источников данных об уязвимостях и индикаторах компрометации.

• opencve.io — поисковик CVE со встроенными оповещениями о новых угрозах.

• security.snyk.io и Mend Vulnerability Database, Vulncode-DB — базы данных уязвимостей с открытым исходным кодом.

• Cloudvulndb — проект, который аккумулирует уязвимости и проблемы безопасности поставщиков облачных услуг.

• Vulnerability Database — система для поиска информации об актуальных угрозах.

• Rapid7 - DB — база данных, которая содержит детали более чем 180 тыс. уязвимостей и 4 тыс. эксплойтов. Все эксплойты включены в Metasploit.

• Exploit DB — CVE-совместимый архив общедоступных эксплойтов и уязвимого программного обеспечения.

• sploitus — поисковик по эксплойтам и хакерским инструментам.

Поиск по исходному коду

Онлайн-сервисы

• Searchcode — поиск реальных примеров функций, API и библиотек на 243 языках в GitHub, GitLab, Bitbucket, GoogleCode и других хранилищах исходного кода.

• Sourcegraph — быстрый и функциональный поисковик по open-source репозиториям. Имеет selfhosted-версию.

• HotExamples — поиск примеров кода open-source проект. Позволяет увидеть на одной странице примеры использования того или иного класса или метода из нескольких проектов.

• Libraries.io — поиск по 4 690 628 пакетам в 32 пакетных менеджерах.

• RepoSearch — поиск исходного кода в репозиториях SVN и GitHub.

• grep.app — поиск по содержимому Git. Полезен для поиска строк, связанных с уязвимостями индикаторами компрометации и вредоносными программами.

• Search from Cyber_detective — поиск в 20 репозиториях с открытым исходным кодом при помощи дорков.

• PublicWWW — позволяет найти любой буквенно-цифровой фрагмент, в том числе куски HTML, JavaScript, CSS-кода в коде веб-страниц.

• NerdyData — поиск веб-сайтов, использующих определенные технологии.

Утилиты

• Gitrob — инструмент, помогающий находить потенциально конфиденциальные файлы, помещенные в общедоступные репозитории на Github. Клонирует репозиторий, перебирает историю коммитов, помечает подозрительные файлы и выводит результаты в веб-интерфейс.

• Github Dorks — утилита для поиска с использованием дорков через GitHub Search API. Написан на Python.

• gitGraber — инструмент для мониторинга GitHub и оперативного поиска конфиденциальных данных, например, кредов от Google, Amazon (AWS), Paypal, Github, Mailgun, Facebook, Twitter, Heroku, Stripe, Twilio.

• github-search — коллекция консольных инструментов для исследования Github.

• TheScrapper — предназначен для поиска адресов электронной почты и учетных записей социальных сетей в исходном коде веб-сайта.