Статья ШХ. Инструменты для разведки сайтов

Введение​

Приветствую дорогих читателей! Продолжаю рубрику “ШХ”, посвящённую OSINT. В этой статье рассмотрю для вас три перспективных инструмента на постоянное использование. Представленные инструменты больше направлены на разведку различных сайтов, а конкретно на изучение их содержимого(картинки, документы и пр).

Дисклеймер: Все данные предоставленные в данной статье, взяты из открытых источников. Не призывают к действию и являются только лишь данными для ознакомления, и изучения механизмов используемых технологий.

Holehe-web​

Что это?​

Веб-интерфейс для Holehe, инструмента OSINT, который проверяет зарегистрирован ли адрес электронной почты на различных веб-сайтах.

Установка и использование​

Инструмент устанавливается простым скачиванием из GitHub и установкой необходимых модулей:

git clone https://github.com/sds-osint/holehe-web
cd holehe-web
pip install -r requirements.txt

Далее запускаем инструмент при помощи следующей команды:

uvicorn main:app --reload

После можно будет его использовать по локальному адресу в браузере

Ссылка скрыта от гостей

.

Работа с инструментом очень проста, вписываем нужный email и получаем результат:

Интерфейс максимально простой и удобный. Из нужного у нас имеется пункт USED, в котором отображены сайты на которых зарегистрирован искомый email. Остальные пункты не менее сложные: NOT USED(Не используется), RATE LIMITED(Ограничение по запросам), ERROR(при запросе произошла ошибка).

Имеются пункты с копированием результатом или выгрузкой в формат CSV, который выглядит следующим образом:

В целом веб-версия известного инструмента по поиску сайтов на которых зарегистрирован email довольно хорошая, она просто устанавливается и запускается. Вывод нужных сайтов выполняется в удобном окошке которое нам сразу представлено и не нужно листать список проверенных сайтов в поисках нужных нам сайтов.

Конечно к разведке по сайтам данный инструмент можно отнести косвенно т.к в основном если на сайтах и указывается почта, то корпоративная.

FilePhish​

Что это?

Ссылка скрыта от гостей

— это легкий и удобный инструмент, созданный для быстрого поиска документов в интернете с помощью комбинации ключевых слов, поиска по конкретным сайтам и фильтрации по типам файлов.

Использование​

Инструмент не нуждается в установке, т.к доступен онлайн.

Интерфейс инструмента очень простой, в форме Keyword мы заполняем ключевые слова по которым будем производить поиск файлов на сайте, в форме site прописываем нужный сайт по которому будет проводиться поиск и в пункте Select Search Engine мы выбираем поисковую систему через которую будем проводить поиск. Флажки ниже(PDF Files, Other Text Files и т.д) отвечают за тип файлов которые нужно искать.

Возьмём в пример сайт

Ссылка скрыта от гостей

и поищем какие-нибудь файлы с названием test.

Как можно наблюдать, инструмент использует всеми известные Google Dorks для поиска нужной информации, а нам остаётся просто заполнить нужные поля и откроется нужный поисковой запрос!

Подобным образом можно попробовать поискать файлы в которых имеется ключевое слово email и случайно найти уязвимость, при помощи которой можно ходить по директориям сайта и смотреть что угодно.

Для целей OSINT инструмент вполне себе имеет место быть, т.к при помощи эффективных дорков и простого пользовательского интерфейса может позволить специалистам проводить глобальный поиск по различным файлам сайта.

METKA​

Что это?​

METKA – это консольная утилита для анализа цифровых метаданных и данных OSINT (Open Source Intelligence). Она предназначена для извлечения полезной информации из различных типов файлов, включая изображения, аудио, видео, документы и другие.

Утилита обрабатывает метаданные в разных форматах, сохраняет отчёт об анализе и предоставляет рекомендации на основе искусственного интеллекта для дальнейшего расследования в цифровой криминалистике.

Установка и использование​

Исходя из описания, для полноценного использования инструмента помимо его скачивания и установки зависимостей нам потребуется и API-ключ для взаимодействия с ИИ.

git clone https://github.com/insojke/METKA.git
cd METKA

Теперь регистрируемся и получаем токен на этом сайте

Ссылка скрыта от гостей

Права токену я дал максимальные какие только смог.

Создаём файл для самого токена:

nano token.env

И вписываем в него токен следующим образом:

HF_TOKEN=YOUR_TOKEN_IS_HERE

Устанавливаем и заходим в виртуальную среду:

sudo apt install python3-venv -y
python3 -m venv venv
source venv/bin/activate

Устанавливаем нужные модули:

pip3 install -r requirements.txt

Наконец запускаем инструмент:

python3 metka.py

Признаться честно, запуск инструмента оказался для меня проблемой, т.к постоянно вылетали ошибки и постоянно приходилось фиксить код собственноручно. Ниже я выложу ошибки запуска и варианты фикса этих ошибок:

# Ошибка
python3.11 metka.py
Traceback (most recent call last):
File "/home/kali/METKA/metka.py", line 1, in <module>
from scripts.metadata_analyzer import analyze_metadata, create_report_file
File "/home/kali/METKA/scripts/metadata_analyzer.py", line 822
print(f"\nMIME-type: {mime_type if mime_type else "Couldn't determine the file type | Не удалось определить тип файла"}")
^
SyntaxError: unterminated string literal (detected at line 822)
# Варианты фикса
print(f"\nMIME-type: {mime_type if mime_type else 'Couldn't determine the file type | Не удалось определить тип файла'}")

# Ошибка
python3 metka.py         
Traceback (most recent call last):
File "/home/kali/METKA/metka.py", line 1, in <module>
from scripts.metadata_analyzer import analyze_metadata, create_report_file
File "/home/kali/METKA/scripts/metadata_analyzer.py", line 716
report_file.write(f"The number of lines in the document | Количество строк в документе: {text.count('\n')}\n")
^
SyntaxError: f-string expression part cannot include a backslash
# Варианты фикса
1. report_file.write(f"The number of lines in the document | Количество строк в документе: {text.count('\\n')}\n")
2. report_file.write(f"The number of lines in the document | Количество строк в документе: {text.count('\n')}\n")
3. report_file.write("The number of lines in the document | Количество строк в документе: {}\n".format(text.count('\n')))

# Ошибка
python3 metka.py                 
Traceback (most recent call last):
File "/home/kali/METKA/metka.py", line 1, in <module>
from scripts.metadata_analyzer import analyze_metadata, create_report_file
File "/home/kali/METKA/scripts/metadata_analyzer.py", line 720
print(f"The number of lines in the document | Количество строк в документе: {text.count('\n')}")
# Варианты фикса
1.    print("The number of lines in the document | Количество строк в документе: {}".format(text.count('\n')))
2.    print("The number of lines in the document | Количество строк в документе: " + str(text.count('\n')))

# Ошибка
python3 metka.py                 
Traceback (most recent call last):
File "/home/kali/METKA/metka.py", line 1, in <module>
from scripts.metadata_analyzer import analyze_metadata, create_report_file
File "/home/kali/METKA/scripts/metadata_analyzer.py", line 822
print(f"""\nMIME-type: {mime_type if mime_type else 'Couldn't determine the file type | Не удалось определить тип файла'}""")
^
IndentationError: unindent does not match any outer indentation

# Фикс
Честно говоря здесь я просто удалил проблемную строку и скрипт у меня наконец-то заработал)
Но проблема сама заключалась в неверной табуляции, которую я так и не смог нормально фиксануть.

Теперь перейдём к интерфейсу инструмента:

Алгоритм действий максимально простой, для анализа выбираем пункт 1.

Пишем название файла для отчёта.

Прописываем путь к самому файлу и ожидаем анализа.

Метаданные предоставлены корректно, но к сожалению задействовать ИИ так и не удалось.

Анализ метаданных в OSINT-исследовании сайта никогда не терял актуальность и данный инструмент способен помочь нам в этом деле и надеюсь моя обратная связь разработчикам в виде статьи поможет скорректировать инструмент и поработать над ошибками выше.

Заключение​

В этой статье я продемонстрировал вам инструменты, которые могут вам подсобить в исследовании сайта и вполне возможно поспособствуют комфортной и эффективной работе!

 

[rasput2]

в целом ничего нового гугл дорки и метаданные с файлов