Статья The Harvester

Привет! В этой статье я покажу очередной инструмент, который поможет собрать информацию о целевом объекте, перед началом тестирования на проникновение.

Утилита называется theHarvester – по словам разработчиков, она является универсальным инструментом для сбора учетных записей, электронной почты, имена субдоменов, виртуальных хостов, открытых портов, баннеров и имен сотрудников из различных общедоступных источников (поисковые системы, ключевые серверы PGP)

Инструмент достаточно прост, но в то же время достаточно эффективен на ранних стадиях тестирования. Так же его можно использовать для того, чтобы посмотреть, как много о вашей компании можно узнать в интернете.

Список изменений в версии v2.7 11/10/2016 (взято с сайта разработчиков):

· Discovery: Fixed PGP keyserver search.

· Added missing search engines, fixed search engine handling.

· Fixed email parser for cleaner results. Thanks Th4nat0s

· Improved XML exporting file format

· Removed 123people

· Fixed Bing cookies order

Зависимости:

· Python 2.7.x

· Необходима библиотека (

Ссылка скрыта от гостей

) > pip install

Пассивные:

· google: google поисковая система –

Ссылка скрыта от гостей

· googleCSE: google система пользовательского поиска

· google-profiles: google поиск конкретных профилей пользователей Google

· bing: microsoft поисковая система –

Ссылка скрыта от гостей

· bingapi: microsoft поисковая система, с помощью API (вы должны добавить свой API ключ в поиск /bingsearch.py)

· dogpile: Dogpile поисковая система –

Ссылка скрыта от гостей

· pgp: сервер ключей PGP – mit.edu

· linkedin: google поисковая система, специализированный поиск для пользователей Linkedin

· vhost: Bing поиск виртуальных хостов

· twitter: twitter аккаунты связаны с интересующим доменом (использует google поиск)

· googleplus: пользователи работающие в целевой компании (использует google поиск)

· yahoo: Yahoo поисковая система

· baidu: Baidu поисковая система

· shodan: Shodan Computer поисковая система, будет искать открытые порты и баннеры обнаруженных хостов (

Ссылка скрыта от гостей

)


Активные:

· DNS brute force: этот плагин позволит запустить перебор по словарю

· DNS reverse lookup: обратный поиск имен хостов, по найденным адресам

· DNS TDL expansion: TLD словарь для брутфорса

Модули, которым необходим API ключ для работы:

· googleCSE: Необходимо создать Google Custom Search engine(CSE), и добавить свой

Google API key и CSE ID в плагин (discovery/googleCSE.py)

· shodan: Необходимо добавить свой API key в discovery/shodansearch.py

Теперь установим его себе и запустим:

> git clone http://github.com/laramies/theHarvester

> cd theHarvester

> chmod a+x theHarvester.py

> ./theHarvester.py

Я полагаю не нужно вдаваться в подробности об опциях использования программы т.к. все видно и предельно ясно. Во всяком случае, вопросы жду в комментариях.

Еще добавлю, что запуск программы с опциями:

> theHarvester.py –d mycompany.com –l 500 –b all –s 300

в отношении компании, о структуре которой, я знаю практически все, дал довольно обширные результаты:

· Мэйлы сотрудников

· Виртуальные хосты

И еще много всякого, обладая такой информацией можно более гибко подойти к разработке стратегии тестирования на проникновение, а так же представить себе более отчетливо архитектуру цели. В целом рекомендую к использованию.

 

[z3RoTooL]

у меня почему-то харвестер только первый раз собирает почты, а потом всё... не хочет. Я попозже тему сделаю с ещё одним интересным способом

 

[tagerSU]

у меня почему-то харвестер только первый раз собирает почты, а потом всё... не хочет!!!! В чем может быть загвоздка?

 

[dandu]

почему то после набора команды theHarvester.py –d domain.com –l 500 –b all –s 300 у меня сообщает что command not found

 

[z3RoTooL]

почему то после набора команды theHarvester.py –d domain.com –l 500 –b all –s 300 у меня сообщает что command not found

ты на Кали ?

 

[dandu]

ага, Kali Linux

 

[z3RoTooL]

ага, Kali Linux

ну а нахрена ты пишешь theHarvester.py , если он у тебя из консоли просто по команде theHarvester запускается...

 

[dandu]

виноват бразэ, я не спец, тока начинаю, ща попробую

 

[z3RoTooL]

даже не theHarvester а theharvester

 

[z3RoTooL]

виноват бразэ, я не спец, тока начинаю, ща попробую

используй ТАБ принаборе команд в терминале, сильно проще будет

 

[dandu]

используй ТАБ принаборе команд в терминале, сильно проще будет

принято!

Команду запустил, прогуглил, 2 почтовых ящика и несколько субдоменов вытащил. Отлично! попробую открытые порты поискать..

 

[petyaorvasya]

*******************************************************************
* *
* | |_| |__ ___ /\ /\__ _ _ ____ _____ ___| |_ ___ _ __ *
* | __| '_ \ / _ \ / /_/ / _` | '__\ \ / / _ \/ __| __/ _ \ '__| *
* | |_| | | | __/ / __ / (_| | | \ V / __/\__ \ || __/ | *
* \__|_| |_|\___| \/ /_/ \__,_|_| \_/ \___||___/\__\___|_| *
* *
* TheHarvester Ver. 2.7 *
* Coded by Christian Martorella *
* Edge-Security Research *
* cmartorella@edge-security.com *
*******************************************************************

Запускаю команду она банер просто выдаёт

 

[Elektrolife]

*******************************************************************
* *
* | |_| |__ ___ /\ /\__ _ _ ____ _____ ___| |_ ___ _ __ *
* | __| '_ \ / _ \ / /_/ / _` | '__\ \ / / _ \/ __| __/ _ \ '__| *
* | |_| | | | __/ / __ / (_| | | \ V / __/\__ \ || __/ | *
* \__|_| |_|\___| \/ /_/ \__,_|_| \_/ \___||___/\__\___|_| *
* *
* TheHarvester Ver. 2.7 *
* Coded by Christian Martorella *
* Edge-Security Research *
* cmartorella@edge-security.com *
*******************************************************************

Запускаю команду она банер просто выдаёт

Укажите ключи запуска. Я когда тестировал данную софтину,она почему то работала только на сбор ящиков

 

[Дядюшка Рик]

у меня вот такое подскажите что за прикол)
> Errno 2] No such file or directory

 

[n01n02h]

у меня вот такое подскажите что за прикол)
> Errno 2] No such file or directory

Нет файла или папки

 

[Elektrolife]

Что то у меня тоже перестал работать ((

Подкиньте что нибудь аналогичное. Недавно натыкался,теперь найти не могу

 

[Licht]

о каком API идет речь? как исправить эту проблему? не хочет ничего выдавать вообще

 

[HomoSapiens]

о каком API идет речь? как исправить эту проблему? не хочет ничего выдавать вообще
Посмотреть вложение 31548

Аналогично. Все перерыл не могу решить проблему

 

[wolcha]

о каком API идет речь? как исправить эту проблему? не хочет ничего выдавать вообще
Посмотреть вложение 31548

Если ещё актуально, то в папке с программой есть файл api-keys.yaml И в нём сказано какие ключи нужны (их просто в этот файл нужно вписать)