Что такое SpiderFoot и зачем он нужен
SpiderFoot — это open-source платформа для автоматизированной OSINT-разведки, которая собирает и анализирует данные о целевых объектах из более чем 200 различных источников. Инструмент исследует IP-адреса, домены, email, телефоны, имена и автоматически выявляет связи между найденными данными, превращая разрозненную информацию в структурированную картину цифрового следа.В отличие от коммерческих решений вроде Maltego ($999/год), SpiderFoot полностью бесплатен, имеет удобный веб-интерфейс и часто превосходит конкурентов по объему собираемых данных.
Быстрый старт за 10 минут
Новичок в SpiderFoot? Следуйте этому пошаговому маршруту:Шаг 1: Установка на вашу ОС → 5 минут
Шаг 2: Настройка API-ключей → 15 минут
Шаг 3: Запуск первого сканирования → 2 минуты
Шаг 4: Анализ результатов → Изучите примеры
Важно: Без настройки API-ключей вы получите только 20-30% возможностей инструмента!
Основные сценарии использования SpiderFoot
Пентестинг и аудит безопасности — поиск потенциальных векторов атаки через публичную информациюThreat Intelligence — сбор данных об угрозах и анализ инфраструктуры злоумышленников
Проверка цифрового следа компании — выявление утечек корпоративной информации
OSINT-расследования — комплексный сбор данных о целевых объектах
Due Diligence — проверка контрагентов и партнеров
Оглавление
- Ключевые возможности и модули
- Установка SpiderFoot на разные ОС
- Настройка API-ключей для максимальной эффективности
- Режимы работы: от базового до профессионального
- Практические примеры использования
- Безопасность и OPSEC при работе
- SpiderFoot vs Maltego и другие альтернативы
- Решение частых проблем
- Часто задаваемые вопросы
Ключевые возможности и модули
SpiderFoot построен на модульной архитектуре — более 200 специализированных модулей собирают данные из различных источников. Каждый модуль отвечает за конкретный тип разведки:1. Базовая сетевая разведка
DNS и доменная информация:- Whois-данные — владельцы доменов, даты регистрации, контактная информация
- DNS-записи — полный анализ A, AAAA, MX, TXT, NS, CNAME записей
- Поиск поддоменов — через bruteforce, словари и пассивные DNS-базы
- Reverse DNS — определение доменов по IP-адресам
2. Поисковые системы и публичные источники
Поисковики:- Google, Bing, DuckDuckGo, Yandex — поиск упоминаний, кэшированных страниц, документов
- Специализированные поисковики — GitHub, Reddit, архивы веб-страниц
- LinkedIn, Twitter, Facebook, Instagram — поиск профилей по email и именам
- Telegram, Discord — поиск публичных каналов и упоминаний
3. Базы утечек и уязвимостей
Проверка скомпрометированных данных:- HaveIBeenPwned — проверка email в известных утечках
- Pastebin и аналоги — поиск паст с упоминанием целей
- Базы утечек — Dehashed, IntelX (требуют платные API)
4. Сетевая разведка и Threat Intelligence
Сканеры интернета:- Shodan — открытые порты, сервисы, уязвимые системы, IoT-устройства
- Censys — SSL-сертификаты, HTTP-заголовки, технологии сайтов
- BinaryEdge — данные о сетевой инфраструктуре
- VirusTotal — проверка доменов и IP на вредоносную активность
- AlienVault OTX — индикаторы компрометации
- AbuseIPDB — база злоумышленных IP-адресов
5. Анализ веб-ресурсов
- Сканирование сайтов — извлечение email, телефонов, метаданных
- SSL/TLS сертификаты — поиск альтернативных доменов через SAN
- Технологии сайта — CMS, фреймворки, библиотеки
- Web-архивы — история изменений сайта через Wayback Machine
Установка SpiderFoot на разные ОС
Установка на Linux (Ubuntu/Debian/Kali)
Важно: SpiderFoot НЕ предустановлен в Kali Linux, но доступен в репозиториях.
Bash:
# Для Kali Linux и Debian-based систем
sudo apt update && sudo apt install spiderfoot
# Запуск после установки
spiderfoot -l 127.0.0.1:5001
Bash:
# Скачивание стабильной версии 4.0
wget https://github.com/smicallef/spiderfoot/archive/v4.0.tar.gz
tar zxvf v4.0.tar.gz
cd spiderfoot-4.0
# Установка зависимостей (требуется Python 3.7+)
pip3 install -r requirements.txt
# Запуск
python3 ./sf.py -l 127.0.0.1:5001
Bash:
git clone https://github.com/smicallef/spiderfoot.git
cd spiderfoot
pip3 install -r requirements.txt
python3 ./sf.py -l 127.0.0.1:5001Установка на Windows
Для Windows потребуется предварительно установленный Python 3.7+:
Код:
# 1. Скачайте и установите Python с python.org
# 2. Откройте PowerShell от администратора
# Скачивание SpiderFoot (см. команды в разделе "Установка на Linux" выше)
# После скачивания перейдите в папку:
cd spiderfoot
# Установка зависимостей
pip install -r requirements.txt
# Запуск
python sf.py -l 127.0.0.1:5001Установка через Docker (универсальный метод)
Docker-контейнер — самый простой способ для любой ОС:
Bash:
# Скачивание и запуск официального образа
docker pull blacklanternsecurity/spiderfoot
# Базовый запуск
docker run -p 5001:5001 blacklanternsecurity/spiderfoot
# С сохранением данных
docker run -p 5001:5001 \
-v /path/to/data:/var/lib/spiderfoot \
blacklanternsecurity/spiderfoothttp://127.0.0.1:5001При выборе операционной системы для OSINT-работы важно учитывать не только SpiderFoot. Подробный обзор и сравнение операционных систем для OSINT поможет выбрать оптимальное окружение.
Настройка API-ключей для максимальной эффективности
КРИТИЧЕСКИ ВАЖНО: Без API-ключей SpiderFoot использует только 20-30% своих возможностей. Большинство мощных модулей требуют авторизации в external сервисах.Пошаговая настройка API-ключей:
- Запустите веб-интерфейс:
Bash:python3 ./sf.py -l 127.0.0.1:5001 - Откройте в браузере:
http://127.0.0.1:5001 - Перейдите в настройки: Settings → API Key Manager
- Получите бесплатные ключи для основных сервисов
Обязательные API-ключи (бесплатные):
| Сервис | Регистрация | Лимиты бесплатного плана |
|---|---|---|
| Shodan | shodan.io/register | 100 запросов/месяц |
| VirusTotal | virustotal.com/gui/join-us | 500 запросов/день |
| HaveIBeenPwned | haveibeenpwned.com/API/Key | 10 запросов/минута |
| Hunter.io | hunter.io/users/sign_up | 25 поисков/месяц |
| Censys | censys.io/register | 250 запросов/месяц |
| AlienVault OTX | otx.alienvault.com | Без ограничений |
| AbuseIPDB | abuseipdb.com/register | 1000 запросов/день |
| GreyNoise | greynoise.io/signup | 50 запросов/день |
Рекомендуемые платные API (для профессионального использования):
- Shodan Pro ($49/месяц) — неограниченные запросы
- IntelX (от $100/месяц) — доступ к базам утечек
- Dehashed ($15/месяц) — поиск по утечкам паролей
Режимы работы: от базового до профессионального
SpiderFoot предлагает несколько предустановленных режимов работы (Use Cases) и возможность точечного выбора модулей:1. Passive (Пассивная разведка)
Безопасный режим без прямого взаимодействия с целью. Использует только публичные источники и кэши.
Bash:
# CLI запуск
python3 ./sf.py -s example.com -u passive -o passive_scan.json
# Через веб-интерфейс
New Scan → Use Case: "Passive" → Start Scan2. Footprint (Отпечаток инфраструктуры)
Умеренно активный режим с запросами к целевым ресурсам (robots.txt, sitemap.xml).
Bash:
python3 ./sf.py -s example.com -u footprint3. Investigate (Расследование угроз)
Проверка IP/доменов по базам угроз и репутационным спискам.
Bash:
python3 ./sf.py -s suspicious-domain.com -u investigate4. All (Полное сканирование)
НЕ РЕКОМЕНДУЕТСЯ! Запускает все модули, генерирует гигабайты данных и может занять несколько часов.Профессиональный подход: точечный выбор модулей
Bash:
# Только поиск поддоменов и их резолвинг
python3 ./sf.py -s example.com -m sfp_subdomain_enum,sfp_dnsresolve
# Только email и связанные домены
python3 ./sf.py -s example.com -t EMAILADDR,DOMAIN_NAME
# Экспорт в CSV для анализа
python3 ./sf.py -s example.com -u passive -o results.csv -F CSVПрактические примеры использования
Кейс 1: Аудит безопасности корпоративной инфраструктуры
Задача: Проверить, какая информация о компании доступна публично.
Bash:
# Шаг 1: Пассивная разведка основного домена
python3 ./sf.py -s company.com -u passive -o company_passive.json
# Шаг 2: Анализ найденных поддоменов
python3 ./sf.py -s company.com \
-m sfp_subdomain_enum,sfp_shodan,sfp_censys
# Шаг 3: Проверка email-адресов сотрудников
python3 ./sf.py -s company.com \
-t EMAILADDR \
-m sfp_haveibeenpwned,sfp_hunterКейс 2: Расследование фишинговой кампании
Задача: Изучить инфраструктуру фишингового сайта.
Bash:
# Комплексный анализ подозрительного домена
python3 ./sf.py -s phishing-site.com -u investigate
# Поиск связанной инфраструктуры через SSL-сертификаты
python3 ./sf.py -s phishing-site.com -m sfp_tlscert,sfp_crtКейс 3: OSINT-разведка по email
Задача: Собрать информацию о человеке по email-адресу.
Bash:
# Поиск по email
python3 ./sf.py -s target@example.com -t EMAILADDR
# Поиск в социальных сетях и утечках
python3 ./sf.py -s target@example.com \
-m sfp_socialprofiles,sfp_haveibeenpwnedКейс 4: Мониторинг Attack Surface компании
Задача: Регулярно проверять изменения в цифровом следе организации.
Bash:
# Создание cron-задачи для ежедневного сканирования
# Добавить в crontab
0 2 * * * /usr/bin/python3 /path/to/sf.py \
-s company.com \
-u passive \
-o /path/to/reports/scan_$(date +\%Y\%m\%d).json \
-qБезопасность и OPSEC при работе
Критические правила безопасности
Правило №1: Никогда не сканируйте с личного/рабочего IPЛюбое активное сканирование оставляет следы в логах целевых систем. Ваш IP-адрес будет записан.
Правило №2: Используйте промежуточную инфраструктуру
Bash:
# Вариант 1: Работа через VPN
# Подключитесь к VPN перед запуском SpiderFoot
# Вариант 2: Арендованный VPS
ssh user@vps-server
# Запускайте SpiderFoot на VPS
# Вариант 3: Tor (медленно, но анонимно)
# В настройках SpiderFoot: Settings → Global Settings → Use Tor- Получите письменное разрешение на тестирование
- Не сканируйте государственные ресурсы без официального разрешения
- Учитывайте законы страны размещения целевых систем
- В РФ действует закон 152-ФЗ о персональных данных
Настройка SpiderFoot для работы через Tor
- Установите Tor:
Bash:sudo apt install tor sudo service tor start - В веб-интерфейсе SpiderFoot:
- Settings → Global Settings
- Enable "Route requests through Tor"
- SOCKS Proxy: 127.0.0.1:9050
- Проверьте анонимность:
Bash:curl --socks5 127.0.0.1:9050 https://check.torproject.org
Рекомендации по скрытности
- Используйте режим "Passive" для первичной разведки
- Растягивайте сканирование во времени (настройка delays)
- Не используйте агрессивные модули без необходимости
- Регулярно меняйте IP-адреса при длительных исследованиях
- Избегайте сканирования в рабочие часы целевой организации
SpiderFoot vs Maltego и другие альтернативы
Сравнительная таблица OSINT-инструментов
| Характеристика | SpiderFoot | Maltego | Recon-ng | theHarvester |
|---|---|---|---|---|
| Лицензия | Open Source | Freemium | Open Source | Open Source |
| Интерфейс | Web + CLI | GUI | CLI | CLI |
| Количество модулей | 200+ | 50+ (transforms) | 100+ | 30+ |
| Визуализация | Базовая | Отличная | Отсутствует | Отсутствует |
| Автоматизация | Высокая | Средняя | Высокая | Высокая |
| Сложность освоения | Средняя | Высокая | Средняя | Низкая |
| Стоимость Pro | HX: по запросу | $999/год | Бесплатно | Бесплатно |
| Требования | Python 3.7+ | Java | Python 3.6+ | Python 3.6+ |
Когда использовать каждый инструмент
SpiderFoot — когда нужен максимальный охват источников и автоматизация:- Массовый сбор данных
- Автоматизированные проверки безопасности
- Регулярный мониторинг инфраструктуры
- Начальный этап пентестинга
- Расследование сложных схем
- Презентация результатов руководству
- Анализ социальных связей
- Финансовые расследования
- Интеграция в скрипты
- Кастомные модули
- CLI-автоматизация
- DevSecOps пайплайны
- Простые задачи разведки
- Начальный этап пентеста
- Обучение OSINT
- Быстрая проверка домена
Оптимальная связка инструментов
Код:
SpiderFoot (сбор данных)
→ Экспорт CSV/JSON
→ Maltego (визуализация)
→ Презентация/ОтчетЕсли вы хотите расширить свой арсенал практических средств для быстрой разведки, рекомендую ознакомиться со статьёй про самые актуальные OSINT-боты для новичков на Codeby. В материале собраны самые удобные Telegram-боты и онлайн-сервисы для анализа аккаунтов в соцсетях, поиска открытых данных и автоматизации рутинных задач.
Решение частых проблем
Проблема: "Module failed: sfp_shodan"
Причина: Неправильный API-ключ или превышен лимит запросов.Решение:
Bash:
# Проверьте API-ключ
Settings → API Keys → Shodan API Key
# Проверьте лимиты (100 запросов/месяц на бесплатном плане)
# на сайте Shodan: Account → Usage
# Решение: используйте режим passive или купите Shodan ProПроблема: "Connection refused" при запуске веб-интерфейса
Причина: Порт 5001 уже занят другим приложением.Решение:
Bash:
# Проверьте, не занят ли порт
netstat -tulpn | grep 5001
# Используйте другой порт
python3 ./sf.py -l 127.0.0.1:5002
# Для доступа с других машин в локальной сети
python3 ./sf.py -l 0.0.0.0:5001Проблема: Слишком много данных, браузер зависает
Причина: Включено слишком много модулей или выбран режим "All".Решение:
Bash:
# Используйте фильтры в веб-интерфейсе
# Или экспортируйте в JSON/CSV для внешнего анализа
python3 ./sf.py -s target.com -u passive -o results.json -q
# Анализируйте данные в Python/ExcelПроблема: "SSL Certificate Verify Failed"
Причина: Проблемы с сертификатами SSL в корпоративной сети.Решение:
Python:
# Временное решение (НЕ для продакшена!)
# В файле sf.py добавить перед импортами:
import ssl
ssl._create_default_https_context = ssl._create_unverified_contextПроблема: Медленная работа сканирования
Решение:- Уменьшите количество одновременных модулей: Settings → Global Settings → Thread Count (5-10)
- Отключите медленные модули (например, sfp_torch при работе без Tor)
- Используйте SSD для базы данных SpiderFoot
- Увеличьте timeout для медленных источников
Проблема: Python версии 3.6 не поддерживается
Причина: SpiderFoot 4.0 требует Python 3.7+Решение:
Bash:
# Обновите Python до версии 3.7 или выше
python3 --version
# Ubuntu/Debian
sudo apt update
sudo apt install python3.9
# Или используйте Docker
docker run -p 5001:5001 blacklanternsecurity/spiderfootЧасто задаваемые вопросы
Как установить SpiderFoot на Windows 10/11?
Установите Python 3.7+ с официального сайта python.org, затем следуйте инструкциям в разделе Установка на Windows.Краткая версия:
Код:
# После скачивания SpiderFoot
cd spiderfoot
pip install -r requirements.txt
python sf.py -l 127.0.0.1:5001
Ссылка скрыта от гостей
SpiderFoot vs Maltego — что лучше для начинающих?
SpiderFoot проще в освоении и бесплатен, идеален для автоматизированного сбора данных. Maltego лучше для визуального анализа, но требует больше времени на изучение и стоит $999/год для полной версии. Рекомендация: Начните с SpiderFoot, затем освойте Maltego для презентаций.Какие бесплатные альтернативы SpiderFoot существуют?
- Recon-ng — мощный CLI-фреймворк для OSINT
- theHarvester — простой инструмент для поиска email и поддоменов
- Amass — продвинутый поиск поддоменов от OWASP
- Photon — веб-краулер для OSINT
- Sherlock — поиск username по 300+ соцсетям
Можно ли использовать SpiderFoot без API-ключей?
Технически да, но вы получите только 20-30% функционала. Без API-ключей не работают Shodan, VirusTotal, HaveIBeenPwned и другие ключевые модули. Настоятельно рекомендуется потратить 30 минут на регистрацию в бесплатных сервисах — это критически важно для эффективной работы.Как запустить SpiderFoot в Docker?
Bash:
# Скачать образ
docker pull blacklanternsecurity/spiderfoot
# Запустить с сохранением данных
docker run -p 5001:5001 \
-v ~/spiderfoot:/var/lib/spiderfoot \
blacklanternsecurity/spiderfoot
Ссылка скрыта от гостей
в браузере.Законно ли использовать SpiderFoot в России?
Сбор публичной информации (OSINT) законен. Однако активное сканирование чужих систем без разрешения может нарушать:- Статью 272 УК РФ (неправомерный доступ к компьютерной информации)
- Закон 152-ФЗ (о персональных данных)
Как экспортировать результаты из SpiderFoot в Excel?
Bash:
# Экспорт в CSV
python3 ./sf.py -s target.com -o results.csv -F CSV
# Конвертация в Excel через Python
python3 -c "import pandas as pd; pd.read_csv('results.csv').to_excel('results.xlsx', index=False)"Почему SpiderFoot не находит поддомены?
Проверьте:- Включены ли модули sfp_subdomain_enum, sfp_sublist3r
- Есть ли API-ключи для Shodan, Censys (они критичны для поиска)
- Используйте режим "Footprint" вместо "Passive"
- Попробуйте специализированные инструменты: Amass, Subfinder, Assetfinder
Как настроить SpiderFoot для работы через прокси?
В веб-интерфейсе: Settings → Global Settings → HTTP ProxyФормат:
http://user:pass@proxy.server:8080SOCKS:
socks5://127.0.0.1:9050Можно ли автоматизировать регулярные сканирования?
Да, через cron и CLI:
Bash:
# Добавить в crontab для ежедневного сканирования в 2:00
0 2 * * * /usr/bin/python3 /path/to/sf.py \
-s example.com \
-u passive \
-o /path/to/reports/scan_$(date +\%Y\%m\%d).json \
-qВ чем разница между SpiderFoot и SpiderFoot HX?
SpiderFoot (Open Source):- Бесплатный
- Self-hosted
- 1 пользователь
- Ограничение: 1 цель за сканирование, 3 часа работы
- ~25% возможностей HX версии
- Платный (цены по запросу)
- Cloud-hosted
- Множество пользователей
- Без ограничений по целям и времени
- Расширенная визуализация
- Мониторинг изменений
- Интеграция с командами
- Дополнительные модули
Как обновить SpiderFoot до версии 4.0?
Bash:
# Если установлен через Git
cd spiderfoot
git pull origin master
pip3 install -r requirements.txt --upgrade
# Если скачан архивом - скачайте новую версию:
# wget https://github.com/smicallef/.../v4.0.tar.gz (см. раздел "Установка на Linux")
tar zxvf v4.0.tar.gz
cd spiderfoot-4.0
pip3 install -r requirements.txtЗаключение
SpiderFoot — мощнейший инструмент в арсенале специалиста по кибербезопасности и OSINT-аналитика. Его главные преимущества: автоматизация рутинных задач, огромное количество источников данных (200+ модулей) и гибкая настройка под конкретные задачи.Если вы хотите системно развить навыки OSINT и построить собственный автоматизированный workflow — ознакомьтесь с «OSINT 2025: Полным руководством по инструментам, AI и автоматизации разведки».
Этот материал продолжает тему SpiderFoot, объясняя, как выстроить современный OSINT-процесс: от легальности и этики до AI-интеграции и автоматизации поиска. В нем есть карта инструментов, примеры рабочих сценариев и подборка дистрибутивов для OSINT-лаборатории.
Чек-лист для эффективной работы с SpiderFoot:
- Установлен SpiderFoot версии 4.0
- Настроены минимум 5-7 API-ключей (Shodan, VirusTotal, HaveIBeenPwned обязательно)
- Изучены основные режимы работы (Passive, Footprint, Investigate)
- Настроена работа через VPN или прокси
- Отработан процесс экспорта данных для анализа
- Изучены правовые аспекты использования в вашей юрисдикции
- Создан набор шаблонов для типовых задач
- Настроена интеграция с другими инструментами (Maltego, Recon-ng)
Освоение инструментов OSINT-разведки — важный шаг в карьере специалиста по информационной безопасности. Если вы нацелены на профессиональный рост в области пентестинга, рекомендую изучить материал о подготовке к сертификации OSCP, где навыки OSINT-разведки играют ключевую роль.
Делитесь в комментариях своими кейсами использования SpiderFoot и любимыми модулями. Какие источники данных вы считаете наиболее полезными?
Обновлено: Ноябрь 2025 | Версия SpiderFoot: 4.0 | Требования: Python 3.7+ — проверка контрагентов и партнеров
В отличие от коммерческих решений вроде Maltego, SpiderFoot полностью бесплатен в базовой версии, имеет удобный веб-интерфейс и часто превосходит конкурентов по объему собираемых сырых данных. Инструмент активно развивается сообществом и регулярно обновляется новыми модулями.
Оглавление
- Ключевые возможности и модули
- Установка SpiderFoot на разные ОС
- Настройка API-ключей для максимальной эффективности
- Режимы работы: от базового до профессионального
- Практические примеры использования
- Безопасность и OPSEC при работе
- SpiderFoot vs Maltego и другие альтернативы
- Решение частых проблем
- Часто задаваемые вопросы
Ключевые возможности и модули
SpiderFoot построен на модульной архитектуре — более 200 специализированных модулей собирают данные из различных источников. Каждый модуль отвечает за конкретный тип разведки:1. Базовая сетевая разведка
DNS и доменная информация:- Whois-данные — владельцы доменов, даты регистрации, контактная информация
- DNS-записи — полный анализ A, AAAA, MX, TXT, NS, CNAME записей
- Поиск поддоменов — через bruteforce, словари и пассивные DNS-базы
- Reverse DNS — определение доменов по IP-адресам
2. Поисковые системы и публичные источники
Поисковики:- Google, Bing, DuckDuckGo, Yandex — поиск упоминаний, кэшированных страниц, документов
- Специализированные поисковики — GitHub, Reddit, архивы веб-страниц
- LinkedIn, Twitter, Facebook, Instagram — поиск профилей по email и именам
- Telegram, Discord — поиск публичных каналов и упоминаний
3. Базы утечек и уязвимостей
Проверка скомпрометированных данных:- HaveIBeenPwned — проверка email в известных утечках
- Pastebin и аналоги — поиск паст с упоминанием целей
- Базы утечек — Dehashed, IntelX (требуют платные API)
4. Сетевая разведка и Threat Intelligence
Сканеры интернета:- Shodan — открытые порты, сервисы, уязвимые системы, IoT-устройства
- Censys — SSL-сертификаты, HTTP-заголовки, технологии сайтов
- BinaryEdge — данные о сетевой инфраструктуре
- VirusTotal — проверка доменов и IP на вредоносную активность
- AlienVault OTX — индикаторы компрометации
- AbuseIPDB — база злоумышленных IP-адресов
5. Анализ веб-ресурсов
- Сканирование сайтов — извлечение email, телефонов, метаданных
- SSL/TLS сертификаты — поиск альтернативных доменов через SAN
- Технологии сайта — CMS, фреймворки, библиотеки
- Web-архивы — история изменений сайта через Wayback Machine
Установка SpiderFoot на разные ОС
Установка на Linux (Ubuntu/Debian/Kali)
Вопреки распространенному мнению, SpiderFoot не предустановлен в Kali Linux, но доступен в репозиториях:
Bash:
# Для Kali Linux и Debian-based систем
sudo apt update && sudo apt install spiderfoot
# Запуск после установки
spiderfoot -l 127.0.0.1:5001
Bash:
# Клонирование репозитория
git clone https://github.com/smicallef/spiderfoot.git
cd spiderfoot
# Установка зависимостей Python
pip3 install -r requirements.txt
# Запуск
python3 ./sf.py -l 127.0.0.1:5001Установка на Windows
Для Windows потребуется предварительно установленный Python 3.6+:
Код:
# 1. Установите Python с python.org
# 2. Откройте PowerShell от администратора
# Клонирование репозитория
git clone https://github.com/smicallef/spiderfoot.git
cd spiderfoot
# Установка зависимостей
pip install -r requirements.txt
# Запуск
python sf.py -l 127.0.0.1:5001Установка через Docker (универсальный метод)
Docker-контейнер — самый простой способ для любой ОС:
Bash:
# Скачивание и запуск официального образа
docker pull blacklanternsecurity/spiderfoot
docker run -p 5001:5001 blacklanternsecurity/spiderfoot
# Или с сохранением данных
docker run -p 5001:5001 -v /path/to/data:/var/lib/spiderfoot blacklanternsecurity/spiderfootНастройка API-ключей для максимальной эффективности
КРИТИЧЕСКИ ВАЖНО: Без API-ключей SpiderFoot использует только 20-30% своих возможностей. Большинство мощных модулей требуют авторизации в external сервисах.Пошаговая настройка API-ключей:
- Запустите веб-интерфейс:
Bash:python3 ./sf.py -l 127.0.0.1:5001 - Откройте в браузере:
http://127.0.0.1:5001 - Перейдите в настройки: Settings → API Key Manager
- Получите бесплатные ключи для основных сервисов:
Обязательные API-ключи (бесплатные):
| Сервис | Регистрация | Лимиты бесплатного плана |
|---|---|---|
| Shodan | shodan.io/register | 100 запросов/месяц |
| VirusTotal | virustotal.com/gui/join-us | 500 запросов/день |
| HaveIBeenPwned | haveibeenpwned.com/API/Key | 10 запросов/минута |
| Hunter.io | hunter.io/users/sign_up | 25 поисков/месяц |
| Censys | censys.io/register | 250 запросов/месяц |
| AlienVault OTX | otx.alienvault.com | Без ограничений |
| AbuseIPDB | abuseipdb.com/register | 1000 запросов/день |
| GreyNoise | greynoise.io/signup | 50 запросов/день |
Рекомендуемые платные API (для профессионального использования):
- Shodan Pro ($49/месяц) — неограниченные запросы
- IntelX (от $100/месяц) — доступ к базам утечек
- Dehashed ($15/месяц) — поиск по утечкам паролей
Режимы работы: от базового до профессионального
SpiderFoot предлагает несколько предустановленных режимов работы (Use Cases) и возможность точечного выбора модулей:1. Passive (Пассивная разведка)
Безопасный режим без прямого взаимодействия с целью. Использует только публичные источники и кэши.
Bash:
# CLI запуск
python3 ./sf.py -s example.com -u passive -o passive_scan.json
# Через веб-интерфейс
New Scan → Use Case: "Passive" → Start Scan2. Footprint (Отпечаток инфраструктуры)
Умеренно активный режим с запросами к целевым ресурсам (robots.txt, sitemap.xml).
Bash:
python3 ./sf.py -s example.com -u footprint3. Investigate (Расследование угроз)
Проверка IP/доменов по базам угроз и репутационным спискам.
Bash:
python3 ./sf.py -s suspicious-domain.com -u investigate4. All (Полное сканирование)
НЕ РЕКОМЕНДУЕТСЯ! Запускает все модули, генерирует гигабайты данных.Профессиональный подход: точечный выбор модулей
Bash:
# Только поиск поддоменов и их резолвинг
python3 ./sf.py -s example.com -m sfp_subdomain_enum,sfp_dnsresolve
# Только email и связанные домены
python3 ./sf.py -s example.com -t EMAILADDR,DOMAIN_NAME
# Экспорт в CSV для анализа
python3 ./sf.py -s example.com -u passive -o results.csv -F CSVПрактические примеры использования
Кейс 1: Аудит безопасности корпоративной инфраструктуры
Задача: Проверить, какая информация о компании доступна публично.
Bash:
# Шаг 1: Пассивная разведка основного домена
python3 ./sf.py -s company.com -u passive -o company_passive.json
# Шаг 2: Анализ найденных поддоменов
python3 ./sf.py -s company.com -m sfp_subdomain_enum,sfp_shodan,sfp_censys
# Шаг 3: Проверка email-адресов сотрудников
python3 ./sf.py -s company.com -t EMAILADDR -m sfp_haveibeenpwned,sfp_hunterКейс 2: Расследование фишинговой кампании
Задача: Изучить инфраструктуру фишингового сайта.
Bash:
# Комплексный анализ подозрительного домена
python3 ./sf.py -s phishing-site.com -u investigate
# Поиск связанной инфраструктуры через SSL-сертификаты
python3 ./sf.py -s phishing-site.com -m sfp_tlscert,sfp_crtКейс 3: OSINT-разведка по email
Задача: Собрать информацию о человеке по email-адресу.
Bash:
# Поиск по email
python3 ./sf.py -s target@example.com -t EMAILADDR
# Поиск в социальных сетях и утечках
python3 ./sf.py -s target@example.com -m sfp_socialprofiles,sfp_haveibeenpwnedБезопасность и OPSEC при работе
Критические правила безопасности
Правило №1: Никогда не сканируйте с личного/рабочего IPЛюбое активное сканирование оставляет следы в логах целевых систем. Ваш IP-адрес будет записан.
Правило №2: Используйте промежуточную инфраструктуру
Bash:
# Вариант 1: Работа через VPN
# Подключитесь к VPN перед запуском SpiderFoot
# Вариант 2: Арендованный VPS
ssh user@vps-server
# Запускайте SpiderFoot на VPS
# Вариант 3: Tor (медленно, но анонимно)
# В настройках SpiderFoot: Settings → Global Settings → Use Tor- Получите письменное разрешение на тестирование
- Не сканируйте государственные ресурсы
- Учитывайте законы страны размещения целевых систем
Настройка SpiderFoot для работы через Tor
- Установите Tor:
Bash:sudo apt install tor sudo service tor start - В веб-интерфейсе SpiderFoot:
- Settings → Global Settings
- Enable "Route requests through Tor"
- SOCKS Proxy: 127.0.0.1:9050
- Проверьте анонимность:
Bash:curl --socks5 127.0.0.1:9050 https://check.torproject.org
Рекомендации по скрытности
- Используйте режим "Passive" для первичной разведки
- Растягивайте сканирование во времени (настройка delays)
- Не используйте агрессивные модули без необходимости
- Регулярно меняйте IP-адреса при длительных исследованиях
SpiderFoot vs Maltego и другие альтернативы
Сравнительная таблица OSINT-инструментов
| Характеристика | SpiderFoot | Maltego | Recon-ng | theHarvester |
|---|---|---|---|---|
| Лицензия | Open Source | Freemium | Open Source | Open Source |
| Интерфейс | Web + CLI | GUI | CLI | CLI |
| Количество модулей | 200+ | 50+ (transforms) | 100+ | 30+ |
| Визуализация | Базовая | Отличная | Отсутствует | Отсутствует |
| Автоматизация | Высокая | Средняя | Высокая | Высокая |
| Сложность освоения | Средняя | Высокая | Средняя | Низкая |
| Стоимость Pro | $899/год | $999/год | Бесплатно | Бесплатно |
Если вы хотите расширить свой арсенал практических средств для быстрой разведки, рекомендую ознакомиться со статьёй про самые актуальные OSINT-боты для новичков на codeby.net. В материале собраны самые удобные Telegram-боты и онлайн-сервисы для анализа аккаунтов в соцсетях, поиска открытых данных и автоматизации рутинных задач — от Telegram и VK до Steam и Discord. Особое внимание уделено инструменту Sherlock для массового поиска по никнейму на 400+ платформах и ботам для локального логгирования. Отличный стартовый набор для тех, кто только начинает погружаться в OSINT-практику: выясняйте историю профиля, проверяйте утечки, интегрируйте дополнительные источники — и действуйте осмотрительно с точки зрения OPSEC и законодательства.
Когда использовать каждый инструмент
SpiderFoot — когда нужен максимальный охват источников и автоматизация:- Массовый сбор данных
- Автоматизированные проверки безопасности
- Регулярный мониторинг инфраструктуры
- Расследование сложных схем
- Презентация результатов руководству
- Анализ социальных связей
- Интеграция в скрипты
- Кастомные модули
- CLI-автоматизация
- Простые задачи разведки
- Начальный этап пентеста
- Обучение OSINT
Оптимальная связка инструментов
Код:
SpiderFoot (сбор данных) → Экспорт CSV/JSON → Maltego (визуализация) → ОтчетРешение частых проблем
Проблема: "Module failed: sfp_shodan"
Решение:
Bash:
# Проверьте API-ключ
Settings → API Keys → Shodan API Key
# Проверьте лимиты (100 запросов/месяц на бесплатном плане)
# Решение: используйте режим passive или купите Shodan ProПроблема: "Connection refused" при запуске веб-интерфейса
Решение:
Bash:
# Проверьте, не занят ли порт
netstat -tulpn | grep 5001
# Используйте другой порт
python3 ./sf.py -l 127.0.0.1:5002
# Для доступа с других машин
python3 ./sf.py -l 0.0.0.0:5001Проблема: Слишком много данных, браузер зависает
Решение:
Bash:
# Используйте фильтры в веб-интерфейсе
# Или экспортируйте в JSON/CSV для внешнего анализа
python3 ./sf.py -s target.com -u passive -o results.json -qПроблема: "SSL Certificate Verify Failed"
Решение:
Python:
# Временное решение (НЕ для продакшена!)
# В файле sf.py добавить:
import ssl
ssl._create_default_https_context = ssl._create_unverified_contextПроблема: Медленная работа сканирования
Решение:- Уменьшите количество одновременных модулей: Settings → Global Settings → Thread Count (5-10)
- Отключите медленные модули (например, sfp_torch при работе без Tor)
- Используйте SSD для базы данных SpiderFoot
Часто задаваемые вопросы
Как установить SpiderFoot на Windows 10/11?
Установите Python 3.8+ с официального сайта python.org, затем откройте PowerShell от администратора и выполните:
Код:
git clone https://github.com/smicallef/spiderfoot.git
cd spiderfoot
pip install -r requirements.txt
python sf.py -l 127.0.0.1:5001
Ссылка скрыта от гостей
SpiderFoot vs Maltego — что лучше для начинающих?
SpiderFoot проще в освоении и бесплатен, идеален для автоматизированного сбора данных. Maltego лучше для визуального анализа, но требует больше времени на изучение и стоит $999/год для полной версии. Начните с SpiderFoot, затем освойте Maltego для презентаций.Какие бесплатные альтернативы SpiderFoot существуют?
- Recon-ng — мощный CLI-фреймворк для OSINT
- theHarvester — простой инструмент для поиска email и поддоменов
- Amass — продвинутый поиск поддоменов
- Photon — веб-краулер для OSINT
- Sherlock — поиск username по соцсетям
Можно ли использовать SpiderFoot без API-ключей?
Технически да, но вы получите только 20-30% функционала. Без API-ключей не работают Shodan, VirusTotal, HaveIBeenPwned и другие ключевые модули. Потратьте 30 минут на регистрацию в бесплатных сервисах — это критически важно.Как запустить SpiderFoot в Docker?
Bash:
docker pull blacklanternsecurity/spiderfoot
docker run -p 5001:5001 -v ~/spiderfoot:/var/lib/spiderfoot blacklanternsecurity/spiderfoot
Ссылка скрыта от гостей
в браузере.Законно ли использовать SpiderFoot?
Сбор публичной информации (OSINT) законен. Однако активное сканирование чужих систем без разрешения может нарушать законы о компьютерных преступлениях. Всегда получайте письменное разрешение перед сканированием корпоративных сетей.Как экспортировать результаты из SpiderFoot в Excel?
Bash:
# Экспорт в CSV
python3 ./sf.py -s target.com -o results.csv -F CSV
# Открыть в Excel или конвертировать через pandas:
python3 -c "import pandas as pd; pd.read_csv('results.csv').to_excel('results.xlsx')"Почему SpiderFoot не находит поддомены?
Проверьте:- Включены ли модули sfp_subdomain_enum, sfp_sublist3r
- Есть ли API-ключи для Shodan, Censys
- Используйте режим "Footprint" вместо "Passive"
- Попробуйте специализированные инструменты: Amass, Subfinder
Как настроить SpiderFoot для работы через прокси?
В веб-интерфейсе: Settings → Global Settings → HTTP ProxyФормат:
http://user:pass@proxy.server:8080 или для SOCKS: socks5://127.0.0.1:9050Можно ли автоматизировать регулярные сканирования?
Да, через cron и CLI:
Bash:
# Добавить в crontab для ежедневного сканирования
0 2 * * * /usr/bin/python3 /path/to/sf.py -s example.com -u passive -o /path/to/reports/scan_$(date +\%Y\%m\%d).json -qЗаключение
SpiderFoot — мощнейший инструмент в арсенале специалиста по кибербезопасности и OSINT-аналитика. Его главные преимущества: автоматизация рутинных задач, огромное количество источников данных и гибкая настройка под конкретные задачи.Если вы хотите системно развить навыки OSINT и построить собственный автоматизированный workflow — ознакомьтесь с «OSINT 2025: Полным руководством по инструментам, AI и автоматизации разведки».
Этот материал продолжает тему SpiderFoot, объясняя, как выстроить современный OSINT-процесс: от легальности и этики до AI-интеграции и автоматизации поиска. В нем есть карта инструментов, примеры рабочих сценариев и подборка дистрибутивов для OSINT-лаборатории.
Чек-лист для эффективной работы с SpiderFoot:
- [ ] Установлен SpiderFoot последней версии
- [ ] Настроены минимум 5-7 API-ключей (Shodan, VirusTotal, HaveIBeenPwned обязательно)
- [ ] Изучены основные режимы работы (Passive, Footprint, Investigate)
- [ ] Настроена работа через VPN или прокси
- [ ] Отработан процесс экспорта данных для анализа
- [ ] Изучены правовые аспекты использования в вашей юрисдикции
- [ ] Создан набор шаблонов для типовых задач
- [ ] Настроена интеграция с другими инструментами (Maltego, Recon-ng)
Освоение инструментов OSINT-разведки — важный шаг в карьере специалиста по информационной безопасности. Если вы нацелены на профессиональный рост в области пентестинга, рекомендую изучить материал о подготовке к сертификации OSCP, где навыки OSINT-разведки играют ключевую роль.
Делитесь в комментариях своими кейсами использования SpiderFoot и любимыми модулями. Какие источники данных вы считаете наиболее полезными?
Последнее редактирование модератором:
