Вредоносное разведывание файлов с fileintel

Вредоносное разведывание файлов: fileintel

Это инструмент, используемый для сбора различных разведывательных источников для конкретного файла. Fileintel написан модульным способом, поэтому новые разведывательные источники могут быть легко добавлены. Файлы идентифицируются хешем файла (MD5, SHA1, SHA256). Вывод находится в формате CSV и отправляется в STDOUT, поэтому данные могут быть сохранены или переданы в другую программу. Поскольку выход находится в формате CSV, электронные таблицы, такие как системы Excel или базы данных, легко смогут импортировать данные. Это работает с Python v2, но он также должен работать с Python v3. Если вы обнаружите, что это не работает с Python v3, отправьте сообщение об ошибке.

Скачать fileintel

Этот код был протестирован в Windows 7 и Mac OSX El Capitan.

Экран помощи:

$ python fileintel.py -h
usage: fileintel.py [-h] [-a] [-v] [-n] [-o] [-t] [-r]
                    ConfigurationFile InputFile
Modular application to look up file intelligence information. Outputs CSV to
STDOUT.
positional arguments:
  ConfigurationFile     Configuration file
  InputFile             Input file, one hash per line (MD5, SHA1, SHA256)
optional arguments:
  -h, --help            show this help message and exit
  -a, --all             Perform All Lookups.
  -v, --virustotal      VirusTotal Lookup.
  -n, --nsrl            NSRL Lookup for SHA-1 and MD5 hashes ONLY!
  -o, --otx             OTX by AlienVault Lookup.
  -t, --threatcrowd     ThreatCrowd Lookup for SHA-1 and MD5 hashes ONLY!
  -r, --carriagereturn  Use carriage returns with new lines on csv.

Установка:

Во-первых, убедитесь, что ваш файл конфигурации верно настроен для вашего компьютера/установки. Добавьте соответствующие ключи API и имена пользователей в файл конфигурации. Для запуска этого инструмента необходимы Python и Pip. Существуют модули, которые должны быть установлены из GitHub, поэтому убедитесь, что команда git доступна из командной строки. Git прост в установке для любой платформы. Затем установите требования к python (запускайте это каждый раз, когда выполняете git pull для данного репозитория):

$ pip install -r requirements.txt

Были обнаружены некоторые проблемы со stock версией Python на Mac OSX (http://stackoverflow.com/questions/31649390/python-requests-ssl-handshake-failure). Возможно, вам нужно будет установить часть, отвечающую за безопасность библиотеки запросов, с помощью следующей команды:

$ pip install requests[security]

NSRL

Если вы используете поиск базы данных NSRL, загрузите набор данных NSRL «Минимальный» в виде zip-файла. Поместите его в каталог, к которому вы можете получить доступ, и укажите свой файл конфигурации в этот zip-файл. Нет необходимости в разархивации данных NSRL.

7Zip

Если вы хотите использовать 7Zip (быстрый), а не внутреннюю zip-библиотеку Python (медленный) для чтения большого ZIP-файла NSRL, вам нужно будет установить 7Zip. Установка Windows 7Zip довольно проста, но для Mac OX X или Linux потребуется установить инструмент командной строки p7zip. Для Mac OS X вы можете установить этот инструмент с помощью Brew. После установки 7Zip вам нужно будет указать файл конфигурации, соответствующий тому, где находится исполняемый файл 7z.

Virtualenv

Наконец, я являюсь поклонником virtualenv для Python. Чтобы настроить локальную установку Python для запуска этого инструмента, я рекомендую вам прочитать: http://docs.python-guide.org/en/latest/dev/virtualenvs/

Запуск:

$ python fileintel.py myconfigfile.conf myhashes.txt -a > myoutput.csv

Вы должны иметь возможность импортировать myoutput.csv в любую базу данных или программу для работы с электронными таблицами.

Обратите внимание, что в зависимости от вашей сети, ваших ограничений API-ключа и данных, которые вы ищете, этот скрипт может работать очень долго! Используйте каждый модуль экономно! Взамен долгого ожидания вы избавляетесь от необходимости вручную извлекать эти данные.

Разведывательные источники:

VirusTotal (Требуется сетевой ввод-вывод и публичный API ключ, дросселируется, когда это необходимо)
- http://www.virustotal.com
NSRL база данных
- http://www.nsrl.nist.gov/Downloads.htm
ThreatCrowd (Требуется сетевой ввод-вывод, дросселируется, когда это необходимо)
- http://www.threatcrowd.org
OTX by AlienVault (Требуется сетевой ввод-вывод и API ключ)
- https://otx.alienvault.com
ThreatExpert (Требуется сетевой ввод-вывод)
- http://www.threatexpert.com/

Ресурсы:

Библиотека VirusTotal Python
- https://github.com/blacktop/virustotal-api
База данных The NSRL
- http://www.nsrl.nist.gov/Downloads.htm
- https://blog.didierstevens.com/2015/09/01/nsrl-py-using-the-reference-data-set-of-the-national-software-reference-library/
Библиотека ThreatCrowd Python
- https://github.com/threatcrowd/ApiV2
- https://github.com/jheise/threatcrowd_api
Библиотека OTX Python
- https://github.com/AlienVault-Labs/OTX-Python-SDK
- https://otx.alienvault.com/api/
ThreatExpert
- Scrape с использованием BeautifulSoup
  - https://www.crummy.com/software/BeautifulSoup/bs4/doc
- Веб запросы с использованием библиотеки запросов
  - http://docs.python-requests.org/en/master/
- http://www.threatexpert.com/

Перевод: Анна Давыдова
Источник: n0where.net

Это интересно: