На проекте по профилированию инфраструктуры перед внешним пентестом финтех-компании я параллельно запустил SpiderFoot и theHarvester на один домен. SpiderFoot раскопал четыре субдомена с привязкой к IP, который по WHOIS принадлежал совсем другому юрлицу. theHarvester этих субдоменов не увидел - зато вытащил три email-адреса на dev-поддомене, которых в выдаче SpiderFoot не было. Один инструмент закрыл бы максимум 60% картины. Ситуация типичная: вопрос не в том, какой OSINT-сервис "лучший", а в том, какую комбинацию собрать под конкретный сценарий разведки по открытым источникам.
Критерии отбора: почему именно эти OSINT-сервисы
В обзор вошли восемь инструментов, которые регулярно используются в рабочих задачах - от пентестов до due diligence: Shodan, theHarvester, SpiderFoot, Recon-ng, Maltego, Intelligence X, Sherlock и OSINT Framework. Критерии включения:- Инструмент решает конкретную задачу в цепочке разведки, а не дублирует возможности Google
- Проект обновляется, имеет живое сообщество или коммерческую поддержку. Заброшенные - за борт
- Есть бесплатная версия или community edition, достаточная для реальной работы
- Оценивается, насколько инструмент полезен при разведке российской инфраструктуры (спойлер: у большинства с этим проблемы)
OSINT-инструменты в цепочке разведки по MITRE ATT&CK
Все рассматриваемые сервисы OSINT работают на этапе Reconnaissance - до получения первоначального доступа (initial access). Задача: собрать максимум данных о цели, не обращаясь к её инфраструктуре напрямую (пассивная разведка) или обращаясь минимально (активная разведка через API Shodan, где сканирует сервис, а вы запрашиваете результаты).
| Инструмент | MITRE ATT&CK техника | Что собирает |
|---|---|---|
| Shodan | Scan Databases (T1596.005, Reconnaissance) | Открытые порты, баннеры сервисов, IoT-устройства |
| theHarvester | DNS/Passive DNS (T1596.001), WHOIS (T1596.002) | Email, субдомены, IP-адреса, виртуальные хосты |
| SpiderFoot | Search Open Technical Databases (T1596) + подтехники | Агрегация из 200+ источников с корреляцией |
| Recon-ng | DNS/Passive DNS (T1596.001), WHOIS (T1596.002) | Модульный сбор через API с ручным контролем |
| Maltego | Search Open Websites/Domains (T1593), Gather Victim Identity Information (T1589) | Граф связей между сущностями |
| Intelligence X | Scan Databases (T1596.005) | Утечки данных, тёмный веб, архивный контент |
| Sherlock | Social Media (T1593.001) | Аккаунты по никнейму в соцсетях |
| Google Dorks | Search Engines (T1593.002) | Файлы, конфиги, данные через поисковые операторы |
Контекст применения: внешний пентест (black box или grey box), due diligence, threat intelligence, расследования инцидентов. Для внутреннего пентеста, когда доступ в сеть уже получен, набор инструментов другой - BloodHound, PingCastle, ldapdomaindump. Это за рамками обзора, но цепочка kill chain выглядит так: OSINT-разведка (эта статья) -> сканирование периметра -> initial access -> foothold -> post-exploitation.
Инструменты для инфраструктурной разведки
Shodan - поисковик по подключённым устройствам
Shodan индексирует устройства, подключённые к интернету: серверы, камеры, роутеры, промышленные контроллеры, SCADA-системы. В отличие от Google, который индексирует контент веб-страниц, Shodan сканирует порты и собирает баннеры сервисов по всему IPv4-пространству.[Применимо: внешний пентест, threat intelligence, инвентаризация периметра]
На практике это выглядит так: перед внешним пентестом вводите
org:"Company Name" port:27017 - и за 10 секунд получаете список хостов с открытой MongoDB, без отправки единого пакета к целевой инфраструктуре. Или запрашиваете ssl.cert.subject.CN:"target.com" - и находите серверы с SSL-сертификатами, выписанными на домен цели, включая те, что не в публичном DNS. Именно через такой запрос на одном из проектов мы нашли staging-сервер, о котором заказчик "забыл".Shodan часто называют "Google for hackers". Определение неточное: это не поисковик в привычном смысле, а база результатов активного сканирования. Он сам отправляет запросы к устройствам и сохраняет ответы.
Ограничения:
- Бесплатный аккаунт: лимит запросов в день, нет исторических данных и алертов
- Хост за CDN (Cloudflare, Akamai) или фильтрует сканеры Shodan - результатов не будет
- Для российского сегмента покрытие неравномерное: крупные провайдеры индексируются хорошо, региональные - с задержкой до нескольких недель
- Строго говоря, это активный сканер, а не пассивный OSINT - Shodan сам генерирует трафик к целям
theHarvester - быстрый сбор email и субдоменов
theHarvester входит в стандартную поставку Kali Linux и решает одну задачу хорошо: собирает email-адреса, субдомены, IP-адреса и виртуальные хосты через поисковые системы, PGP-серверы и профессиональные соцсети. Это рабочая лошадка для первой фазы пассивной разведки перед пентестом. По данным Recorded Future, theHarvester используется как для пассивной разведки, так и для подготовки к активным тестам на проникновение.[Применимо: внешний пентест, начальная фаза reconnaissance, black box]
Требования к окружению:
- ОС: GNU/Linux (Kali, Ubuntu 22.04+), macOS, Windows через WSL
- RAM: 512 МБ минимум
- Python 3.10+
- Сетевые условия: online (запрашивает внешние API поисковых систем)
Bash:
theHarvester -d target.com -b google,bing,linkedin -l 200 -f report.html-b задаёт источники для сбора, -l - лимит результатов, -f - имя файла отчёта. Выходной HTML содержит структурированный список найденных email, хостов и IP.Ограничения:
- Инструмент для ранней фазы - не анализирует и не визуализирует полученные данные. После сбора нужен следующий шаг (SpiderFoot, Maltego или ручной анализ)
- Зависит от API поисковых систем: Google начинает выдавать капчу при интенсивных запросах - результаты деградируют
- Для LinkedIn нужен API-ключ с ограниченным числом запросов
- Покрытие российских сервисов (Яндекс, Mail.ru) минимальное - инструмент ориентирован на западные источники. Яндекс.Почту он просто не знает
SpiderFoot - автоматизация OSINT по 200+ источникам
SpiderFoot - фреймворк для автоматизированного сбора OSINT, который агрегирует данные из более чем 200 источников. На вход принимает домен, IP, email, имя или телефон - на выходе даёт структурированный отчёт с корреляциями между находками.[Применимо: внешний пентест, due diligence, threat intelligence, расследования]
Архитектурное отличие от theHarvester: SpiderFoot не просто собирает субдомены - он проверяет каждый найденный IP через Shodan API, сопоставляет email с базами утечек, ищет связанные домены через пассивный DNS и выстраивает граф корреляций. theHarvester - линейный сбор. SpiderFoot - сеть связей. Разница как между списком покупок и картой торгового центра.
Требования к окружению (self-hosted):
- ОС: GNU/Linux (рекомендуется Ubuntu 20.04+), macOS
- RAM: 2 ГБ минимум, 4 ГБ рекомендуется при сканировании крупного домена
- Python 3.8+, pip
- Сетевые условия: online (запрашивает десятки внешних API)
Bash:
# Запуск веб-интерфейса SpiderFoot на localhost
python3 sf.py -l 127.0.0.1:5001Ограничения:
- Генерирует огромный объём данных - на крупном домене легко получить тысячи записей, из которых 70-80% окажутся шумом. Готовьтесь фильтровать
- Для полноценной работы нужны API-ключи от десятка сервисов (VirusTotal, Shodan, HaveIBeenPwned и др.). Без ключей покрытие падает до ~30% источников
- Self-hosted версия требует ручного обновления. Облачная SpiderFoot HX - коммерческая, цена по запросу
- При параллельных запросах к бесплатным API легко получить rate limit и временную блокировку
Модульная разведка: Recon-ng, Google Dorks и OSINT Framework
Recon-ng - модульный фреймворк для цифровой разведки с командной строкой, напоминающей Metasploit. Каждая задача (поиск субдоменов, сбор email, проверка утечек) реализована отдельным модулем с подключением конкретного API-источника.[Применимо: внешний пентест, инфраструктурная разведка, когда нужен ручной контроль над процессом]
Архитектурное отличие от SpiderFoot: Recon-ng - фреймворк с явным контролем над каждым шагом. Вы сами выбираете модули, задаёте последовательность выполнения, управляете workspace. SpiderFoot - автоматический pipeline. Recon-ng для тех, кто хочет контролировать процесс шаг за шагом; SpiderFoot - для тех, кому нужен результат с минимальным ручным вмешательством. Я предпочитаю Recon-ng, когда знаю, что именно ищу, и SpiderFoot - когда нужно "закинуть сеть пошире".
Ограничения Recon-ng: только командная строка (GUI нет); модули требуют ручной настройки API-ключей; документация разрознена - порог входа выше, чем у SpiderFoot. Бесплатный, open-source, входит в Kali Linux, активно поддерживается.
Google Dorks - техника расширенного поиска через Google, маппящаяся на T1593.002 (Search Engines, Reconnaissance). Операторы
site:, filetype:, intitle:, inurl: позволяют находить проиндексированные конфигурационные файлы, документы с метаданными, панели администрирования и открытые директории. Это не инструмент в привычном смысле, а техника, которую можно применять без установки чего-либо. Google Dorks используются в OSINT-практике с 2002 года и остаются одним из самых доступных методов начальной разведки - бесплатно и без регистрации.OSINT Framework - не инструмент, а структурированный каталог OSINT-ресурсов, организованный по категориям: домены, email, IP, соцсети, утечки. Бесплатный, веб-интерфейс, не требует установки. Полезен как стартовая точка для выбора нужного сервиса под конкретную задачу, но сам по себе данных не собирает. Часть ссылок со временем протухает - каталог обновляется сообществом, и не всегда оперативно.
Maltego - OSINT-платформа для визуализации связей
Maltego - графическая платформа для link analysis, которая визуализирует связи между сущностями: доменами, IP-адресами, email, аккаунтами в соцсетях, физлицами и организациями. Это не инструмент для массового сбора сырых данных - это инструмент для анализа связей между ними.[Применимо: расследования, due diligence, threat intelligence, внешний и внутренний пентест (фаза разведки)]
Рабочий процесс: создаёте граф, добавляете начальную сущность (домен, email, имя) и запускаете "преобразования" (transforms). Каждое преобразование обращается к конкретному источнику данных и добавляет связанные сущности на граф. Цепочка преобразований разматывает связи: email -> домен -> IP -> другие домены на том же IP -> WHOIS -> регистрант -> другие домены того же регистранта. Maltego интегрируется с десятками сторонних API через систему Transform Hub.
Версии: Maltego CE (Community Edition) - бесплатная, ограничена 12 сущностями на преобразование и числом доступных transforms. Maltego Pro/Enterprise - коммерческая, полный доступ.
Когда Maltego, а когда SpiderFoot: SpiderFoot хорош для breadth - максимум данных за один проход. Maltego - для depth, когда нужно проследить конкретную цепочку от email до юрлица. Задача "собрать всё, что есть по домену target.com" - запускайте SpiderFoot. Задача "выяснить, связан ли домен target.com с конкретным физлицом через цепочку юрлиц" - открывайте Maltego.
Ограничения:
- Высокий порог входа: интерфейс неочевиден без обучения, первый продуктивный сеанс занимает несколько часов освоения. Я потратил примерно полдня, прежде чем перестал тыкать наугад
- Ресурсоёмкий: на графах с 500+ сущностями заметно тормозит даже на машинах с 16 ГБ RAM
- Community Edition ограничена настолько, что для серьёзных расследований непригодна - 12 сущностей заканчиваются на втором преобразовании
- Многие transforms требуют отдельных API-ключей и подписок на сторонние сервисы
Разведка по утечкам и цифровым следам
Intelligence X - поиск по утечкам и тёмному вебу
Intelligence X - поисковая система по утечкам данных, тёмному вебу и архивированному контенту. Поддерживает поиск по email, домену, IP, номеру телефона, Bitcoin-адресу и URL.[Применимо: threat intelligence, расследования, проверка компрометации учётных записей]
Масштаб проблемы утечек хорошо иллюстрируют данные Have I Been Pwned: только по Facebook в публичный доступ попало более 509 миллионов записей - даты рождения, email, телефоны, геолокация. LinkedIn - 164 миллиона email и паролей. В январе 2026 года утекли данные более 6 миллионов аккаунтов Instagram (email, телефоны, геолокация - по данным Have I Been Pwned). Российский онлайн-кинотеатр START потерял данные 7,4 миллиона пользователей, включая email и пароли. Twitter - 6,7 миллиона записей с биографиями, email и телефонами. Intelligence X агрегирует результаты из тысяч подобных инцидентов и позволяет искать по ним.
Ограничения:
- Бесплатный аккаунт: ограниченное число запросов и глубина результатов
- Скорость поиска по большим датасетам бывает низкой
- Полный доступ к результатам - только по подписке
- Юридические ограничения: использование данных из утечек за рамками threat intelligence может нарушать GDPR и российское законодательство (152-ФЗ, ст. 137 УК РФ). Проверить корпоративный email в базе утечек для threat intelligence - допустимо. Составить досье на физлицо без его ведома - уголовная ответственность. Разграничение тонкое, но существенное
Sherlock - OSINT-поиск аккаунтов по никнейму
Sherlock - open-source инструмент для поиска аккаунтов по юзернейму, маппящийся на T1593.001 (Social Media, Reconnaissance). На вход подаётся ник - на выходе список платформ, где этот ник зарегистрирован, с прямыми ссылками на профили.[Применимо: профилирование персоны, расследования, подготовка к social engineering]
Ограничения:
- Высокий процент false positive: многие платформы возвращают HTTP 200 для любого URL, и Sherlock не всегда корректно это фильтрует. Каждую ссылку придётся проверять руками
- Не проверяет, принадлежат ли найденные аккаунты одному человеку - это задача аналитика
- Российские соцсети (ВКонтакте, Одноклассники) покрыты частично
- Результат требует ручной верификации каждой ссылки
Статус: open-source, активно поддерживается на GitHub.
Сравнительная таблица: trade-off для OSINT-сервисов 2026
| Инструмент | Тип | Бесплатный tier | Преимущество | Ограничение | Когда использовать | Когда НЕ использовать |
|---|---|---|---|---|---|---|
| Shodan | Поиск устройств | Да (лимит запросов) | Уникальный индекс IoT и сервисов | Лимиты free, не пассивный OSINT | Профилирование периметра, IoT | Поиск email или персон |
| theHarvester | Сбор email/субдоменов | Да (полный) | Простота, скорость, входит в Kali | Нет анализа, слабое покрытие RU | Быстрый первичный сбор по домену | Глубокий анализ связей |
| SpiderFoot | Автоматический OSINT | Да (self-hosted) | 200+ источников, корреляция | Шум без API-ключей, ~30% покрытия | Полный профиль домена/IP/email | Когда нужен ручной контроль |
| Recon-ng | Модульный фреймворк | Да (полный) | Гранулярный контроль шагов | CLI-only, высокий порог входа | Управление каждым шагом разведки | Когда нужен быстрый результат |
| Maltego | Граф-анализ связей | CE (12 сущностей) | Визуализация связей | CE сильно урезана, ресурсоёмкий | Расследования, link analysis | Массовый сбор сырых данных |
| Intelligence X | Утечки и архивы | Да (лимит) | Утечки, тёмный веб, архивы | Скорость, платный full access | Проверка скомпрометированных данных | Инфраструктурная разведка |
| Sherlock | Поиск по никнеймам | Да (полный) | Быстрый поиск аккаунтов | False positives, слабое покрытие RU | Профилирование персоны | Поиск по инфраструктуре |
| OSINT Framework | Каталог ресурсов | Да (полный) | Структурированный справочник | Не инструмент, ссылки устаревают | Поиск нужного сервиса | Автоматизированный сбор данных |
Decision tree - когда какой OSINT-инструмент выбрать:
- Нужен быстрый обзор периметра по домену -> начинайте с
theHarvester, затем проверяйте находки черезShodan - Нужен полный автоматический профиль -> запускайте
SpiderFootс максимумом API-ключей - Нужен контроль над каждым шагом ->
Recon-ngс ручным выбором модулей - Нужно проследить цепочку связей между сущностями ->
Maltego - Нужно проверить скомпрометированность email/домена ->
Intelligence X+ Have I Been Pwned - Нужно найти аккаунты человека по нику ->
Sherlock(международные платформы) илиSnoop(с покрытием RU)
Ограничения OSINT-инструментов и когда стандартного стека не хватает
Правовые рамки. Сбор OSINT-данных из публичных источников легален, но их использование регулируется. 152-ФЗ (персональные данные), ст. 137 УК РФ (нарушение неприкосновенности частной жизни), GDPR для европейских данных - всё это ограничивает дальнейшие действия с результатами.
Русскоязычные обзоры OSINT-инструментов в большинстве своём - списки ссылок без контекста: "вот вам 15 инструментов, разбирайтесь сами". Считаю, что это вредный формат. Аналитик, который откроет Maltego CE без понимания ограничения в 12 сущностей на преобразование, потратит три часа и закроет программу. Тот, кто запустит SpiderFoot без API-ключей, получит 30% покрытия и решит, что инструмент бесполезен.
Реальная проблема OSINT в 2026 году - не нехватка инструментов, а отсутствие методологии их комбинирования. Нигде не написано, что для домена за Cloudflare нужно начинать не с Shodan, а с MX-записей. Нигде не объясняется, в каком порядке запускать модули Recon-ng, чтобы один обогащал результаты другого.
Ещё один разрыв: западные инструменты слепы в российском сегменте. Sherlock не найдёт аккаунт в Одноклассниках с приемлемой точностью. SpiderFoot не полезет в ЕГРЮЛ. theHarvester не знает про Яндекс.Почту. Эту нишу закрывают точечные инструменты и Telegram-боты, которые не попадают ни в один обзор, потому что меняются быстрее, чем о них успевают написать.
OSINT-аналитику в 2026 году нужен не "лучший инструмент", а привычка регулярно тестировать новые источники, документировать, что работает в конкретном проекте, и безжалостно выбрасывать то, что устарело. Попробуйте прогнать свой домен через theHarvester + SpiderFoot параллельно и сравнить результаты - гарантирую, расхождение удивит.
Последнее редактирование модератором:
