theHarvester

[qwerty120]

theHarvester - это инструмент для пассивного осинта, собирающий информацию о доменах, включая email-адреса, субдомены, имена сотрудников и хосты из публичных источников. Написан на питоне 3.7

Особенности:
1. Поддержка 30+ источников, далее я распишу основные в пункте с флагами
2. Пассивное перечисление (без прямых запросов к цели)
3. Вывод в TXT, HTML, XML, JSON
4. DNS-брутфорс, реверсный DNS-запрос, TLD-расширение
5. Интеграция с API (требуются ключи для некоторых источников)

Установка:
На Kali предустановлен
1. git clone GitHub - laramies/theHarvester: E-mails, subdomains and names Harvester - OSINT
2. cd theHarvester
3. pip3 install -r requirements.txt

Настройка API-ключей:
1. Создайте $HOME/theHarvester/api-keys.yaml
2. Добавьте апи ключи в файл

Флаги:
theHarvester использует argparse для обработки аргументов командной строки
1. d, --domain (обязательный):
Указывает целевой домен для поиска
Задаёт домен для сбора данных (email, субдомены, хосты)

2. -l, --limit:
Ограничивает количество результатов от каждого источника
Значение по умолчанию: 500
Управляет объёмом данных, полезно для обхода rate-limiting

3. -b, --source:
Указывает источники для поиска
Список источников:
anubis, baidu, bevigil, binaryedge, bing, bingapi, bufferoverun, censys, certspotter, crtsh, dnsdumpster, duckduckgo, exalead, github-code, hackertarget, hunter, intelx, linkedin, linkedin_links, netcraft, otx, pkey, rapiddns, securityTrails, shodan, sublist3r, threatcrowd, threatminer, trello, urlscan, vhost, virustotal, yahoo, zoomeye
Позволяет выбрать конкретные источники для точечной разведки

4. -f, --filename:
Сохраняет результаты в файл (поддерживаются TXT, HTML, XML, JSON)
Удобно для автоматизации и дальнейшего парсинга

5. -n, --dns-lookup:
Включает реверсный DNS-запрос для найденных хостов
Помогает маппить IP на домены

6. -c, --dns-brute:
Выполняет DNS-брутфорс для субдоменов
Находит скрытые субдомены, не индексируемые поисковиками

7. -w, --wordlist:
Указывает файл со списком слов для DNS-брутфорса
Расширяет охват брутфорса

8. -s, --start:
Задаёт начальный результат для поиска (для обхода ограничений)
Полезно при работе с поисковиками, ограничивающими первые результаты

9. -v, --virtual-host:
Проверяет хосты через DNS-резолвинг для выявления виртуальных хостов
Обнаруживает дополнительные хосты на одном IP

10. -e, --dns-server:
Указывает кастомный DNS-сервер для резолвинга
Повышает скрытность или обходит локальные ограничения

11. -t, --dns-tld:
Включает перечисление TLD (например, .org, .net) для домена
Расширяет охват субдоменов

12. -p, --port:
Указывает порты для проверки открытых служб (используется с Shodan)
Находит службы на хостах

13. --proxies:
Указывает файл с прокси (формата YAML)
Обходит блокировки поисковиков

14. --shodan:
Активирует поиск через Shodan (устаревший флаг, заменён на -b shodan)
Устарел, но всё ещё поддерживается для обратной совместимости

Использование:
1. Поиск:
theHarvester -d example.com -l 500 -b google -f results.html

2. Все источники:
theHarvester -d example.com -b all

3. DNS-брутфорс:
theHarvester -d example.com -c -w wordlist.txt

4. Фишинг:
theHarvester -d target.com -b linkedin,bing -l 200 -f emails.html

5. Субдомены:
theHarvester -d target.com -b crtsh,virustotal | tee subdomains.txt
cat subdomains.txt | httpx-toolkit -o live.txt

6. Уязвимости:
theHarvester -d target.com -b all -f results.json
cat results.json | jq '.hosts[]' | httpx-toolkit | nuclei -t cves/