Статья SpiderFoot: твой швейцарский нож для OSINT. Полный гайд от А до Я

Здарова, кодеры! Сегодня поговорим про одну из самых мощных и при этом недооцененных штук в арсенале любого безопасника или осинтера. Речь пойдет про SpiderFoot.

Многие слышали, некоторые пробовали, но большинство так и не раскрыло его потенциал полностью. А зря. Эта штука — настоящий OSINT-комбайн. Она автоматически гребет данные о цели (будь то IP, домен, email или даже просто имя) из сотен источников, сама их связывает и раскладывает по полочкам. Тебе остается только самое интересное — анализ.

В отличие от того же Maltego, SpiderFoot полностью бесплатен в своей базовой версии, имеет удобную веб-морду и, что уж там, по объему сырых данных часто выигрывает. Заточен он в первую очередь под пентест, поиск уязвимостей и Threat Intelligence, но и для "пробива" собственной сети на предмет утечек — самое то.

SpiderFoot - это open-source инструмент для автоматизированной осинт-разведки, который собирает данные о цели (IP, домен, email, имя, телефон, подсеть, ASN) из сотен источников. Он заточен под пентест, анализ уязвимостей и выявление угроз, но также полезен для проверки, что твоя сеть выдаёт в открытый доступ. В отличие от Maltego, SpiderFoot полностью бесплатный, имеет веб-интерфейс и тянет больше данных.

Что под капотом? Ключевые возможности​

Сила SpiderFoot — в его модульности. Под капотом у него больше 200 модулей, каждый из которых отвечает за свой источник данных. Вот лишь малая часть того, куда он умеет ходить:

1. Базовая инфа:
   • Whois: Классика. Вытаскивает инфу о владельцах доменов, датах регистрации.
   • DNS: Пробивает все основные записи (A, AAAA, MX, TXT, NS), ищет поддомены через bruteforce, словари и пассивные DNS-репозитории.
2. Поисковики и соцсети:
   • Поисковики: Google, Bing, DuckDuckGo и другие. Ищет любые упоминания цели, кэшированные страницы, файлы.
   • Соцсети: LinkedIn, Twitter, Facebook, Instagram. Ищет профили, связанные с email'ами, именами, никнеймами.
3. Утечки и "темная сторона":
   • Сливы: Проверяет email'ы по базам HaveIBeenPwned, ищет пасты на Pastebin.
   • Даркнет: Умеет искать упоминания в некоторых даркнет-поисковиках (требует Tor).
4. Сетевая разведка (Threat Intelligence):
   • Сканеры интернета: Shodan, Censys, BinaryEdge. Ищет открытые порты, специфичные баннеры, уязвимые сервисы.
   • Репутационные базы: AlienVault OTX, Abuse.ch, GreyNoise, VirusTotal. Проверяет IP и домены на вредоносную активность.
     Сбор информации через такие сервисы — это первый шаг. Логичным продолжением часто становится непосредственный поиск дыр в безопасности. На эту тему есть полезный материал про открытые сканеры уязвимостей, который отлично дополнит арсенал после первичной разведки.
5. Прочее:
   • Веб-анализ: Качает страницы сайта, ищет в них email'ы, скрытые ссылки, метаданные.
   • SSL/TLS Сертификаты: Анализирует сертификаты, ищет другие домены, использующие тот же сертификат (очень мощная фича!).

Установка и первая настройка​

Тут все просто, но есть нюанс, о котором часто забывают.

Вариант 1: Для пользователей Kali Linux​

Вопреки популярному мифу, в стандартной сборке Kali его нет. Но он есть в репозиториях. Ставится одной командой:

sudo apt update && sudo apt install spiderfoot

Кстати, раз уж зашла речь про рабочее окружение, стоит помнить, что Kali — не единственный вариант. Существуют целые операционные системы, заточенные специально под разведку, и выбор правильной среды может серьезно упростить жизнь. На форуме есть хороший обзор и сравнение операционных систем для OSINT, который поможет определиться.

Вариант 2: Универсальный (для любой ОС, где есть Python)​

Классика через git. Открываем терминал и погнали:

git clone https://github.com/smicallef/spiderfoot.git
cd spiderfoot
pip3 install -r requirements.txt

Готово. Теперь самое важное.

Самое главное: API-ключи​

Послушайте внимательно: без API-ключей SpiderFoot — это просто игрушка. Вся его мощь раскрывается только тогда, когда вы "скормите" ему ключи от внешних сервисов. Shodan, VirusTotal, HaveIBeenPwned, Censys и десятки других — для большинства из них можно получить бесплатные ключи на их сайтах.
Как добавить ключи:

1. Запустите веб-интерфейс: python3 ./sf.py -l 127.0.0.1:5001
2. Откройте в браузере http://127.0.0.1:5001.
3. Найдите вверху справа меню "Settings" -> "API Key Manager".
4. Вставляйте свои ключи в соответствующие поля.

Не поленитесь потратить 20-30 минут и зарегистрироваться везде, где сможете. Это окупится сторицей.

Запуск: Веб-морда vs. Терминал​

Запускать SpiderFoot можно двумя способами, и у каждого свои плюсы.

1. Веб-интерфейс (рекомендуется для анализа):
   python3 ./sf.py -l 127.0.0.1:5001
   Жирный плюс этого способа — наглядность. Вы видите все найденные данные в виде удобной таблицы, можете фильтровать их, сортировать и, что самое крутое, смотреть граф связей. Именно тут становится понятно, как один найденный email связан с пятью доменами, а те, в свою очередь, хостятся на одном IP. Для анализа — маст-хэв.
2. CLI (командная строка, для автоматизации):
   python3 ./sf.py -h
   Идеально для скриптов, быстрой проверки или когда нужно получить данные в чистом виде (например, в JSON или CSV) для передачи в другой инструмент.

Как этим пользоваться: от новичка до профи​

Классическая ошибка новичка — запустить сканирование со всеми модулями (-u all) и утонуть в гигабайтах мусорных данных. Не делайте так. Правильный воркфлоу выглядит иначе.

Шаг 1: Пассивный сборНачинаем всегда с него. Пассивный режим не делает прямых запросов к цели, а использует только публичные источники (DNS-репозитории, поисковики, Shodan). Это безопасно и не оставляет следов.

# В CLI
python3 ./sf.py -s example.com -u passive -o report.json

# В веб-интерфейсе
New Scan -> Target: example.com -> Use Case: "Passive"

Шаг 2: Углубление (Footprint)Проанализировали пассивные данные, нашли интересные поддомены, IP-адреса. Теперь можно копнуть глубже. Режим "Footprint" включает более активные модули, которые могут делать запросы к цели (например, проверять наличие robots.txt).

# В CLI
python3 ./sf.py -s example.com -u footprint

Шаг 3: Расследование (Investigate)
Этот режим заточен под проверку конкретного IP или хоста на вредоносность. Он активно опрашивает всевозможные Threat Intelligence фиды.

# В CLI
python3 ./sf.py -s 192.168.1.1 -u investigate

Про-режим: Точечные удары
Когда вы уже освоились, самый эффективный способ — выбирать модули вручную. Например, вы нашли пачку поддоменов и хотите только прорезолвить их IP и проверить на Shodan.

# Собираем только домены и email'ы
python3 ./sf.py -s example.com -t DOMAIN_NAME,EMAILADDR

# Используем только два конкретных модуля
python3 ./sf.py -s example.com -m sfp_shodan,sfp_dnsresolve

# Вывод в CSV без заголовков для парсинга
python3 ./sf.py -s example.com -H -o results.csv

OPSEC FIRST! Правила безопасности, которые спасут твою шкуру​

А теперь то, о чем молчат 9 из 10 гайдов. Любая активная разведка деанонимизирует вас. Когда SpiderFoot делает запрос к целевому сайту, в логах этого сайта остается ваш IP-адрес.

Запомни три правила:

1. Никогда не сканируй цели со своего домашнего или рабочего IP. Только с машины, которую не жалко "засветить".
2. Используй прокси или VPN. Идеальный вариант — арендовать дешевый VPS за границей и запускать все сканирования с него.
3. Включи поддержку Tor. SpiderFoot умеет работать через Tor. Это медленнее, но для некоторых задач незаменимо. Настройки для этого есть в веб-интерфейсе.

И, само собой, никогда не используйте этот инструмент против систем, на исследование которых у вас нет письменного разрешения. Это незаконно.

SpiderFoot vs. Maltego: Битва титанов?​

Хватит их сравнивать! Это не конкуренты, а напарники.

• SpiderFoot — это твой неутомимый стажер-автомат. Он бегает и собирает тонны сырых данных. Его задача — максимальный охват.
• Maltego — это опытный аналитик с большой доской. Его задача — взять самые интересные данные (например, выгрузку из SpiderFoot) и найти в них скрытые связи, построить красивые графы и сделать выводы.

Профессиональный подход: запускаем SpiderFoot, собираем данные, затем самые сочные куски экспортируем и загружаем в Maltego для глубокого визуального анализа.

Подводим итоги​

SpiderFoot — чертовски мощный инструмент, если знать, как его готовить. Он требует начальной настройки (API-ключи!) и понимания базовых правил цифровой гигиены (OPSEC!).

Главное, что нужно запомнить:​

• Настрой API-ключи. Это не рекомендация, а требование.
• Начинай с пассивного сканирования. Не шуми без надобности.
• Думай о безопасности (OPSEC). Работай через VPS/VPN.
• Используй веб-интерфейс для анализа. Графы — твои лучшие друзья.

Освоение таких инструментов, как SpiderFoot — ключевой навык. Если вы серьезно настроены на карьеру в пентесте, то наверняка задумываетесь о профессиональном росте и сертификациях. Понимание того, как разведка вписывается в общую методологию атаки, критически важно, и об этом хорошо рассказано в гайде по подготовке к OSCP.

Надеюсь, этот гайд был полезен. Делитесь в комментах своими любимыми модулями и техниками работы со "Паучьей лапкой".

Всем удачной охоты!

 

[qwerty120]

хз, мне кажется моя версия норм была, сильно заредачили, но выглядит ахуенно конечно

 

[Сергей Попов]

хз, мне кажется моя версия норм была, сильно заредачили, но выглядит ахуенно конечно

Да, чуток дополнили