Все таргетированные хакерские атаки начинаются с разведки. Социальные инженеры, красные команды и отдельные пентестеры также собирают информацию о своих целях перед тем, как перейти к активным действиям. Им помогают десятки инструментов и хаков. Под катом ссылки на некоторые из них.

Пост состоит из 8 объемных разделов:

  1. метапоисковики и поисковые комбайны;

  2. инструменты для работы с дорками;

  3. поиск по электронной почте и логинам;

  4. поиск по номерам телефонов;

  5. поиск в сети TOR;

  6. поиск по интернету вещей, IP, доменам и поддоменам;

  7. поиск данных об уязвимостях и индикаторов компрометации;

  8. поиск по исходному коду.

В этом списке собраны инструменты, которые члены нашей команды используют в работе. И все же, эта подборка пригодится не только пентестерам, но и разработчикам, журналистам, HR, маркетологам и всем, кто много ищет в интернете. Знания — это сила. Используйте их во благо.


Как в случае инструментов для анализа зловредов или компьютерной криминалистики, я распределил инструменты на группы для удобства, в соответствии со своими представлениями о прекрасном. Список наверняка неполон, а некоторые ссылки вполне могли бы находиться в других разделах. Поскольку речь идет о поиске, в подборку не вошли многочисленные сканеры и другие инструменты для активного исследования компьютерных сетей, за исключением тех, что умеют в пассивный поиск по открытым источникам.

Метапоисковики и поисковые комбайны

Онлайн-сервисы

  • Hopain Tools, Inteltechniques, IntelligenceX, Aware OSINT Tools — представляют собой стартовые страницы для десятков поисковых систем общего и специального назначения. Все они явно ориентированы на OSINT.

  • Fagan Finder — панель с десятками поисковиков по библиотекам, архивам и базам данных.

  • Dogpile, iZito, zapmeta — метапоисковики, которые агрегируют результаты из Google, Yandex, Bing и других популярных поисковых систем и выводят на одну страницу.

  • Metaosint — поисковик по поисковым системам. Предоставляет удобный интерфейс для поиска других инструментов.

  • Synapsint — метапоисковик с возможностью поиска по IP, SSL, ASN, CVE, email и телефонным номерам.

  • ThatsThem — комбинированный поисковик по именам, адресам, телефонам, адресам электронной почты и IP.

  • Carrot2 — поисковик со встроенным алгоритмом кластеризации текста. Автоматически объединяет в группы тематически связанные источники.

  • Isearchfrom — имитирует поисковые запросы к Google из различных стран. Помогает понять, как региональные ограничения влияют на поисковую выдачу.

  • Answerthepublic — англоязычный поисковик, который выдает распространенные поисковые запросы по заданному словосочетанию.

Утилиты

  • C — поиск из командной строки в 106 источниках.

  • SpiderFoot — инструмент для автоматизации поисковых запросов и экспорта результатов в CSV, JSON, GEXF. Заточен под задачи red team. Снабжен встроенным веб-интерфейсом.

  • Query-Server — инструмент для отправки поисковых запросов в Google, Yahoo, Bing, Ask, DuckDuckGo, Baidu, Exalead, Quora, Parsijoo, Dailymotion, Mojeek и Youtube и записи результатов в CSV, JSON или XML.

  • Recon-ng — фреймворк для разведки по открытым источникам. Позволяет искать практически все от логинов, номеров телефонов и адресов, до файлов с бухгалтерской отчетностью, попавших в открытый доступ. Внешне напоминает Metasploit Framework.

  • Querytool — инструмент OSINT, основанный google-таблицах. Предназначен для сложного поиска людей, адресов электронной почты, файлов и многого другого.

  • Maltego Community Edition — это бесплатная версия OSINT-инструмента для сбора информации из Whois, поисковых систем, социальных сетей и выявления корреляций между людьми, адресами электронной почты, логинами, компаниями, веб-сайтами, доменами и т. д.

  • sn0int — фреймворк для сбора и полуавтоматической обработки информации о поддоменах, IP-адресах, скомпрометированных учетных записях, телефонных номерах и профилях в социальных сетях.

  • theHarvester — консольная утилита для сбора информации для реддтиминга. Позволяет выполнять активную и пассивную разведку при помощи различных поисковых систем. Собирает имена, адреса электронной почты, IP-адреса, поддомены и URL-адреса.

  • ReconSpider — краулер для поиска IP-адресов, электронных писем, веб-сайтов, организаций и поиска информации из разных источников.

  • Mr.Holmes — инструмент сбора информации о доменах, именах и телефонных номерах пользователя с помощью общедоступных источников и Google Dorks.

  • Datasploit — инструмент OSINT, который можно найти в Kali или BlackArch Linux. Предназначен для сбора данных по определенному домену, электронной почте, имени пользователя или номеру телефона и сохранения отчетов в текстовых файлах, HTML и JSON.

  • YaCy — децентрализованная поисковая система с открытым исходным кодом. Позволяет развернуть собственный поисковик.

Инструменты для работы с дорками

Онлайн-сервисы

  • Google Hacking Database — пополняемый каталог дорков со встроенным поиском.

  • Dorksearch — поисковая система со встроенным конструктором дорков.

  • Bug Bounty Helper — еще один онлайн-конструктор google dorks для поиска «деликатных» страниц.

Утилиты

  • pagodo — автоматизирует поиск потенциально уязвимых веб-страниц при помощи дорков из вышеупомянутой Google Hacking Database.

  • Grawler — PHP-утилита с веб-интерфейсом для автоматизации использования Google Dorks, очистки и сохранения результатов поисковой выдачи.

  • DorkScout — еще один инструмент для автоматизации поиска с использованием дорков. Написан на Golang.

  • oxDork — утилита для поиска уязвимостей и неправильных конфигураций веб-серверов.

  • ATSCAN SCANNER — предназначен для поиска с использованием дорков и массового сканирования веб-ресурсов на уязвимости.

  • Fast Google Dorks Scan — автоматизированный инструмент для сбора информации о конкретном веб-сайте при помощи дорков.

  • SiteDorks — готовый набор поисковых запросов для Google, Bing, Ecosia, DuckDuckGo, Yandex, Yahoo и так далее. Включает 527 веб-сайтов.

Поиск по электронной почте и логинам

Онлайн-сервисы

  • Snusbase — индексирует информацию из утечек и дает доступ к поиску по скомпрометированным адресам электронной почты, логинам, именам, IP-адресам, телефонам и хешам паролей.

  • have i been pwned? — поисковик по утечкам данных. Позволяет проверить, в каких инцидентах участвовал конкретный адрес электронной почты.

  • Hunter и Skymem — поиск корпоративных email-адресов по URL.

  • whatsmyname — поиск учетных записей в различных сервисах по логину. В основе сервиса лежит общедоступный JSON.

  • User Searcher — бесплатный инструмент, который поможет найти пользователя по логину на более чем 2 тыс. веб-сайтов.

  • CheckUserNames, Instant Username Search, Namecheckr, peekyou, usersearch — онлайн-сервисы для поиска аккаунтов пользователя по логину.

Утилиты

  • Infoga — инструмент, для сбора информации об учетных записях по электронной почте из общедоступных источников (поисковые системы, серверы ключей PGP, Shodan) и проверяющий, не произошла ли утечка электронной почты, с помощью API haveibeenpwned.com.

  • Holehe OSINT — проверяет, привязана ли электронная почта к учетным записям на таких сайтах, как twitter, instagram, imgur. Поддерживает более 100 порталов. Использует функцию восстановления пароля.

  • Mailcat — ищет адреса электронной почты по нику у 22 почтовых провайдеров.

  • WhatBreach — инструмент OSINT, упрощающий задачу обнаружения утечек, в которых участвовал конкретный адрес электронной почты. Умеет загружать общедоступные базы данных.

  • h8mail и pwnedOrNot — инструменты для поиска паролей от скомпрометированных адресов электронной почты в общедоступных базах данных.

  • Sherlock — инструмент для поиска аккаунтов в социальных сетях по логину пользователя.

  • Snoop Project — инструмент для поиска по логинам. По уверениям разработчика охватывает более двух с половиной тысяч сайтов.

  • Maigret — собирает досье на человека логину, проверяя аккаунты на двух с половиной тысячах сайтов и собирая всю доступную информацию с веб-страниц. Ключи API не требуются. Форк Sherlock.

  • Social Analyzer — API, интерфейс командной строки и веб-приложение для анализа и поиска профилей человека на более чем 1 тыс. сайтов.

  • NExfil — python-утилита для поиска профилей по имени пользователя на 350 веб-сайтах.

  • SPY — еще один быстрый поисковик по именам аккаунтов, работает с 210 сайтами.

  • Blackbird — инструмент для поиска аккаунтов по логину в социальных сетях.

  • Marple — упрощает поиск по логину через общедоступные поисковые системы от Google до Torch и Qwant.

  • GHunt — модульный инструмент для сбора данных о google-аккаунтах.

  • UserFinder — инструмент для поиска профилей по имени пользователя.

Поиск по номерам телефонов

Утилиты

  • Moriarty — утилита для реверсивного (обратного) поиска по телефонным номерам. Позволяет найти владельца, получить ссылки, страницы социальных сетей и другую связанную с номером информацию.

  • Phomber — выполняет поиск по телефонным номерам в интернете и извлекает все доступные данные.

  • PhoneInfoga — известный инструмент для поиска международных телефонных номеров. Сначала выдает стандартную информацию, такую как страна, регион, оператор связи по любому международному телефонному номеру, а затем ищет его следы в поисковых системах, чтобы помочь идентифицировать владельца.

  • kovinevmv/getcontact — утилита для получения информации из баз приложения GetContact (не подходит для парсинга, позволяет выполнить только ограниченное число запросов).

Поиск в сети TOR

Онлайн-сервисы

  • IACA darkweb tools — стартовая страница для двух десятков поисковых систем, работающих с TOR и доступных из обычного веба.

  • Ahmia.fi — еще один поисковик по сети TOR. Выделяется открытым исходным кодом.

  • SearchDemon, Phobos, Tor66, ExcavaTOR, Raklet, SeИtoЯ, Torch, OnionLand Search — поисковые системы, работающие внутри сети TOR.

  • Exonera Tor — база данных IP-адресов, которые были частью сети Tor. Поисковик отвечает на вопрос, работал ли ретранслятор Tor на этом IP-адресе в выбранную дату.

  • Relay Search — веб-приложение для обнаружения ретрансляторов и мостов Tor, предоставляющее информацию о том, как они настроены. Имеет открытый исходный код.

Утилиты

  • TorBot — удобный Onion краулер. Собирает адреса и названия страниц с кратким описанием, получает адреса электронной почты с сайтов, проверяет, активны ли ссылки, и сохраняет отчеты в JSON. Может быть запущен в Docker.

  • VililantOnion — Onion краулер с поддержкой поиска по ключевым словам.

  • Katana-ds — Python-инструмент для автоматизации поиска с использованием Google Dorks и с поддержкой TOR.

  • OnionSearch — скрипт Python3 для автоматизации поиска в зоне .onion через общедоступные сервисы.

  • Devils Eye — это инструмент OSINT для поиска в Darkweb. Не требует установки TOR. Также может искать в сети i2p.

Поиск по интернету вещей, IP, доменам и поддоменам

Онлайн-сервисы

  • Shodan — знаменитая поисковая система для сбора информации об устройствах, подключенных к интернету.

  • Censys Search, GreyNoise, ZoomEye, Netlas, CriminalIp — аналогичные Shodan поисковые системы, ориентированные на IoT.

  • Buckets by Grayhatwarfar — база данных с общедоступным поиском по открытым AWS Buckets, Azure Blobs, Digital Ocean Spaces.

  • Public buckets — поиск общедоступных бакетам AWS S3 & Azure Blob.

  • macaddress.io, MAC Vendor Lookup, maclookup.app — определяют производителя устройства по MAC-адресу, OUI или IAB.

  • CIRT, Default Password Lookup, Router Password, Open Sez Me — поиск по базам данных паролей, установленных по умолчанию на различных устройствах.

  • sitereport.netcraft — выдает комплексную сводку по регистрационным данным и технологиям, используемым на веб-сайте.

  • IPVoid — набор инструментов для исследования IP-адресов: проверка по черным спискам, Whois, поиск по DNS, пинг.

  • who.is, DomainDossier, whois.domaintools — поиск по регистрационным данным и Whois.

  • DNSDumpster — инструмент для исследования доменов, который может обнаруживать хосты, связанные с доменом.

  • ip-neighbors — определяет местоположение сервера, и имена хостов, которые делят с ним IP-адрес.

  • ShowMyIP — массовый поиск IP-адресов, позволяет проверять до 100 IP-адресов одновременно. Выдачу можно загрузить сохранить в .csv-файл.

  • MX Toolbox — еще один многофункциональный инструмент, позволяющий искать по доменному имени, IP-адресу или имени хоста.

  • DNSViz — это набор инструментов для анализа и визуализации системы доменных имен. Имеет открытый исходный код.

  • infosniper, ip2geolocation, ip2location, ipfingerprints, whoismind — поисковики, которые позволяют найти приблизительное географическое местоположение IP-адреса, а также другую полезную информацию, включая интернет-провайдера, часовой пояс, код города и т. д.

  • webmeup, openlinkprofiler, Meet Link Explorer — поиск по обратным ссылкам.

  • RapidDNS — инструмент для DNS-запросов, который упрощает поиск поддоменов или сайтов с одним и тем же IP-адресом.

  • CTSearch, crt — поиск по SSL/TLS сертификатам, выпущенным для конкретного домена.

Утилиты

  • IVRE — фреймворк для сетевой разведки. Альтернатива Shodan, ZoomEye, Censys и GreyNoise.

  • OWASP Amass — сетевой сканер с функцией поиска информации в открытых источниках. Агрегирует информацию из десятков различных поисковых систем и баз данных.

  • Infoooze — инструмент OSINT на базе NodeJs. Объединяет в себе сканер портов и поддоменов, поиск DNS-поиск URL-сканер, поиск в Whois и еще ряд инструментов.

  • Automater — утилита для поиска URL, IP-адресов и хешей MD5, предназначенная для упрощения работы ИБ-аналитиков. Установлена в Kali Linux по умолчанию.

  • Raccoon — инструмент, созданный для разведки и сбора информации с упором на простоту. Использует Nmap для сканирования портов и ряд пассивных методов поиска данных, чтобы собрать всестороннюю информацию о цели.

  • Mitaka — предназначена для поиска IP-адресов, MD5, ASN и биткойн-адресов.

  • Photon — сканер для работы с информаций из открытых источников. Предназначен для сканирования конкретных веб-сайтов в поисках (pdf, png, xml и т. д.), ключей, поддоменов и многого другого. Экспортирует полученные данные в JSON.

  • AttackSurfaceMapper — сканер с функциями поиска по открытым источникам. Ищет поддомены и связанные с ними IP-адреса.

  • HostHunter — использует методы разведки по открытым источникам для сопоставления IP-адресов с именами хостов. Выгружает результаты поиска в CSV или TXT-файлы.

  • Subfinder — модульный инструмент для обнаружения поддоменов при помощи методов пассивной разведки. Предназначен для багхантеров и пентестеров.

  • Sublist3r — предназначен для поиска поддоменов с использованием OSINT.

  • WASP Amass — выполняет сетевое картирование при помощи информации из открытых источников.

  • Anubis — еще одна утилита для обнаружения поддоменов и сбора информации о них из открытых источников.

  • DOME — скрипт python, выполняющий активное и/или пассивное сканирование для получения поддоменов и поиска открытых портов.

  • Belati — инструмент для сбора общедоступных данных и документов с веб-сайтов Вдохновлен Foca и Datasploit.

Поиск данных об уязвимостях и индикаторов компрометации

Онлайн-сервисы

  • MITRE CVE — поисковик, база данных и общепринятый классификатор уязвимостей.

  • NIST NVD — поиск по официальной американской правительственной базе данных об уязвимостях.

  • GitHub Advisory Database — база данных уязвимостей, включающая CVE и рекомендации по безопасности.

  • CVEDetails, osv.dev, VulDB, maltiverse — еще ряд источников данных об уязвимостях и индикаторах компрометации.

  • opencve.io — поисковик CVE со встроенными оповещениями о новых угрозах.

  • security.snyk.io и Mend Vulnerability Database, Vulncode-DB — базы данных уязвимостей с открытым исходным кодом.

  • Cloudvulndb — проект, который аккумулирует уязвимости и проблемы безопасности поставщиков облачных услуг.

  • Vulnerability Database — система для поиска информации об актуальных угрозах.

  • Rapid7 - DB — база данных, которая содержит детали более чем 180 тыс. уязвимостей и 4 тыс. эксплойтов. Все эксплойты включены в Metasploit.

  • Exploit DB — CVE-совместимый архив общедоступных эксплойтов и уязвимого программного обеспечения.

  • sploitus — поисковик по эксплойтам и хакерским инструментам.

Поиск по исходному коду

Онлайн-сервисы

  • Searchcode — поиск реальных примеров функций, API и библиотек на 243 языках в GitHub, GitLab, Bitbucket, GoogleCode и других хранилищах исходного кода.

  • Sourcegraph — быстрый и функциональный поисковик по open-source репозиториям. Имеет selfhosted-версию.

  • HotExamples — поиск примеров кода open-source проект. Позволяет увидеть на одной странице примеры использования того или иного класса или метода из нескольких проектов.

  • Libraries.io — поиск по 4 690 628 пакетам в 32 пакетных менеджерах.

  • RepoSearch — поиск исходного кода в репозиториях SVN и GitHub.

  • grep.app — поиск по содержимому Git. Полезен для поиска строк, связанных с уязвимостями индикаторами компрометации и вредоносными программами.

  • Search from Cyber_detective — поиск в 20 репозиториях с открытым исходным кодом при помощи дорков.

  • PublicWWW — позволяет найти любой буквенно-цифровой фрагмент, в том числе куски HTML, JavaScript, CSS-кода в коде веб-страниц.

  • NerdyData — поиск веб-сайтов, использующих определенные технологии.

Утилиты

  • Gitrob — инструмент, помогающий находить потенциально конфиденциальные файлы, помещенные в общедоступные репозитории на Github. Клонирует репозиторий, перебирает историю коммитов, помечает подозрительные файлы и выводит результаты в веб-интерфейс.

  • Github Dorks — утилита для поиска с использованием дорков через GitHub Search API. Написан на Python.

  • gitGraber — инструмент для мониторинга GitHub и оперативного поиска конфиденциальных данных, например, кредов от Google, Amazon (AWS), Paypal, Github, Mailgun, Facebook, Twitter, Heroku, Stripe, Twilio.

  • github-search — коллекция консольных инструментов для исследования Github.

  • TheScrapper — предназначен для поиска адресов электронной почты и учетных записей социальных сетей в исходном коде веб-сайта.

Комментарии (3)


  1. darklord1984
    20.09.2022 17:10

    Интересно, однако


  1. holyx
    20.09.2022 17:52

    Спасибо за проделанную работу!


  1. ne555
    20.09.2022 19:53

    Maigret Ключи API не требуются. Форк Sherlock.

    Это пиратское поделие.