Статья Охота за информацией: основы OSINT для безопасника (инструменты и методы разведки)

В мире информационной безопасности важность правильного сбора и анализа открытых данных невозможно переоценить. ОСИНТ помогает специалистам по безопасности получать ценную информацию из открытых источников. Эта статья расскажет, как осваивать методы OSINT, какие инструменты использовать и приведет практические примеры кода для их эффективного применения.

OSINT (Open Source Intelligence) — это методика сбора и анализа данных из открытых источников, таких как социальные сети, поисковые системы, публичные базы данных и другие онлайн-ресурсы. Для специалистов по безопасности OSINT представляет собой ценный инструмент для анализа угроз, проверки данных и проведения расследований. Сегодня мы рассмотрим несколько популярных инструментов OSINT, их функционал и приведем примеры кода, чтобы вы могли сразу приступить к практике. Знание этих инструментов и методов поможет вам эффективно защищать системы и проводить качественные расследования.

Что такое OSINT и зачем он нужен? Зачем это безопаснику?​

OSINT включает в себя сбор информации, которая свободно доступна в интернете. Это могут быть данные из социальных сетей, поисковых систем, различных онлайн-баз данных и документов, доступных в открытом доступе.

Для безопасников OSINT является важнейшим инструментом для:

• Анализа угроз и атак: сбор информации о целевых объектах для выявления потенциальных рисков.
• Мониторинга безопасности: отслеживание информации о компании и ее сотрудниках в сети.
• Проверки метаданных: получение важных сведений о файлах (например, фото или документах) через метаданные.
• Поиска уязвимостей: выявление уязвимостей в открытых веб-ресурсах.

Понимание и умение использовать инструменты OSINT позволяет безопасникам значительно улучшить процессы мониторинга и защиты информации.

Этические и юридические аспекты использования OSINT​

Прежде чем приступить к использованию инструментов OSINT, важно понимать, что сбор и использование информации из открытых источников должны происходить в рамках закона и с соблюдением этических норм. Несоблюдение этих норм может привести к юридическим последствиям.

1. Соблюдение законодательства
   Используя OSINT, вы должны избегать сбора данных, которые нарушают конфиденциальность, авторские права или права частной жизни. Например, сбор персональных данных без согласия владельца может быть незаконным в зависимости от юрисдикции.
2. Анонимность и защита данных
   Чтобы обеспечить свою анонимность и защиту личных данных, рекомендуется использовать VPN и Tor при работе с OSINT-инструментами.
3. Этика
   OSINT используется для расследований и анализа угроз, однако важно помнить, что он не должен использоваться для преследования людей или создания вредоносных действий, таких как кибербуллинг, шантаж или распространение конфиденциальной информации.

Основные инструменты и методы OSINT​

1. ExifTool — это мощный инструмент для извлечения метаданных из различных типов файлов, таких как фотографии, видео, документы и другие. Метаданные могут содержать информацию о времени создания, геолокации, устройстве, с которого был сделан снимок, и другие полезные данные.

Основной функционал:

• Извлечение метаданных: Получение данных о времени создания, устройствах (камеры, мобильные телефоны), геолокации, разрешении и многих других аспектах файлов.
• Редактирование и удаление метаданных: Возможность обновить или удалить метаданные в файле (например, для защиты личных данных).
• Массовое извлечение метаданных: Извлечение метаданных из целой группы файлов за один раз, например, для анализа нескольких изображений сразу.
• Поддержка форматов: Работа с множеством форматов файлов, включая JPEG, TIFF, PNG, MP4, MOV, PDF и другие.

Продвинутые функции:​

• Использование регулярных выражений: Для более точного извлечения информации из метаданных.
• Конвертация метаданных: Возможность преобразования метаданных из одного формата в другой.

Скачать ExifTool:

Ссылка скрыта от гостей

Пример кода для извлечения метаданных из изображения:

exiftool photo.jpg

Этот запрос извлекает полные метаданные из изображения. Вы получите информацию о камере, дате и времени съемки, а также о GPS-координатах, если они есть.

Извлечение метаданных из всех файлов в папке:

exiftool -r /path/to/directory

Этот запрос рекурсивно анализирует все файлы в указанной директории и извлекает метаданные.

Удаление всех метаданных из файла

exiftool -all= photo.jpg

Этот код удаляет все метаданные из файла photo.jpg. Полезно для защиты конфиденциальности перед загрузкой изображения в интернет.

Пример вывода:

ExifTool Version Number         : 12.01
File Name                       : photo.jpg
File Size                       : 3.2 MB
File Modify Date                : 2022:05:01 16:25:33+03:00
Camera Model Name               : Canon EOS 70D
GPS Latitude                    : 55.7558 N
GPS Longitude                   : 37.6176 E

Как видим, ExifTool помогает получить информацию о камере, координатах GPS и других метаданных, которые могут быть полезны для расследования.

2. Google Dorking — это техника, использующая поисковые запросы в Google для нахождения скрытой информации на веб-сайтах. Это позволяет находить конфиденциальные файлы, уязвимости в веб-приложениях и другие данные, которые могли бы быть случайно или преднамеренно раскрыты.

Основные функции Google Dorking:​

• Поиск уязвимостей в веб-сайтах (например, открытые файлы с конфиденциальной информацией).
• Использование оператора site: для поиска информации на определенном сайте.
• Использование оператора filetype: для поиска документов определенного формата (PDF, DOCX и т. д.).

Ограничения:
Из-за изменений в алгоритмах поиска Google, возможности поиска через Google Dorking могут быть ограничены. Например, Google начинает блокировать поисковые запросы, которые могут привести к раскрытию конфиденциальных данных.

Альтернативные методы поиска:

• Использование специализированных баз данных или хранилищ, таких как
  Ссылка скрыта от гостей
  или
  Ссылка скрыта от гостей
  , для поиска уязвимостей.

Пример поиска документов:

site:example.com filetype:pdf "confidential"

Этот запрос найдет все PDF-документы на сайте example.com, содержащие слово "confidential".

Пример вывода:

https://example.com/confidential_report.pdf
https://example.com/financial_data_confidential.pdf

Поиск открытых баз данных:

site:gov filetype:xls "database"

Ищет все XLS-файлы на сайтах с доменом .gov, которые содержат слово "database". Это полезно для нахождения открытых, не защищенных данных.

3. Sherlock — это инструмент, позволяющий искать профили людей по их никнеймам в различных социальных сетях. С помощью Sherlock можно быстро собрать информацию о человеке, проверив его активность на различных платформах.

Основные функции Sherlock:​

• Поиск никнеймов в 300+ социальных сетях и сервисах.
• Поиск публичных профилей, связанных с определенным именем или никнеймом.

Скачать Sherlock: GitHub репозиторий

Продвинутые функции Sherlock:

• Использование дополнительных параметров для фильтрации результатов по типу аккаунта (публичный или частный).
• Сканирование нескольких платформ одновременно.

Ограничения:
Sherlock зависит от доступности данных на конкретных платформах и может не найти скрытые или закрытые профили.

Пример использования Sherlock:

python sherlock.py JohnDoe123

Пример вывода:

[+] Instagram: https://www.instagram.com/john_doe123/
[+] Twitter: https://twitter.com/john_doe123
[+] Facebook: https://facebook.com/john_doe123
[+] LinkedIn: https://www.linkedin.com/in/john_doe123/

4. Maltego — это мощный инструмент для анализа и визуализации данных, который позволяет строить графы, отображающие взаимосвязи между объектами, такими как домены, IP-адреса, пользователи и другие элементы.

Основные функции Maltego:​

• Визуализация связей между объектами (пользователи, домены, IP-адреса, организации).
• Сбор данных из открытых источников (например, Whois, DNS, социальные сети).
• Создание интерактивных графов для анализа связей и построения карты угроз.

Продвинутые функции Maltego:

• Автоматизация процессов анализа и создания графов для работы с большими объемами данных.
• Интеграция с API сторонних сервисов для расширения возможностей анализа.

Ограничения:
Бесплатная версия Maltego ограничена функциональностью. Для получения доступа к расширенным функциям, таким как дополнительные трансформаторы и большая мощность вычислений, необходима платная подписка.
Скачать Maltego:

Ссылка скрыта от гостей

Пример команд для анализа в Maltego:

• Whois анализ:
  Для получения информации о владельце домена, его регистрации и контактных данных используйте трансформатор "Whois". Вы получите сведения о владельце домена, дате регистрации и срока действия.
• DNS-запрос:
  Для поиска связанных DNS-серверов и других записей используйте трансформатор "DNS Names". Это поможет вам найти все записи, связанные с доменом, такие как A-записи, MX-записи и другие.

Получение информации о домене:

maltego -t example.com -transforms Whois, DNS Names, IP Addresses

Пример вывода:

Domain Name: example.com
Registrar: Example Corp.
DNS Servers: ns1.example.com, ns2.example.com
IP Addresses: 93.184.216.34

В результате Maltego предоставляет информацию о домене, связанных с ним IP-адресах и DNS-серверах.

Визуализация связей:

[example.com] -- [93.184.216.34]
    |                  |
  [DNS Server]   [Registrar]

Граф визуализирует связи между доменом, его IP-адресом и DNS-серверами.

Maltego работает через GUI, не через CLI.

5. Shodan — это поисковая система, которая сканирует интернет в поисках устройств, подключенных к сети. Это могут быть серверы, камеры, роутеры и устройства Интернета вещей (IoT). С помощью Shodan можно найти уязвимые устройства и проверить их настройки.

Основные функции Shodan:​

• Поиск устройств, подключенных к сети, с фильтрацией по различным критериям (например, по порту, стране).
• Проверка безопасности устройств, поиск уязвимых сервисов и протоколов.

Продвинутые функции Shodan:

• Поиск уязвимостей в устройствах IoT, таких как камеры, маршрутизаторы и системы безопасности.
• Фильтрация по меткам для поиска специфических сервисов, таких как SSH, FTP и других.

Ограничения:
Shodan ограничивает использование бесплатного аккаунта. Для доступа к полному функционалу требуется платная подписка.

Скачать Shodan:

Ссылка скрыта от гостей

Пример запроса в Shodan:

port:22 country:"RU"

Этот запрос ищет устройства, доступные по порту 22 (SSH) в России.

Пример вывода:

Result 1: 185.125.20.10:22
Result 2: 195.123.134.56:22
Result 3: 172.16.8.100:22

Shodan нашел несколько устройств с открытым SSH-портом в России.

6. TheHarvester — это инструмент для сбора информации о доменах, IP-адресах и адресах электронной почты из различных публичных источников, таких таких как поисковые системы, социальные сети и базы данных.

Основные функции TheHarvester:​

• Сбор информации о доменах и адресах электронной почты.
• Поиск публичных данных через Google, Bing, LinkedIn и другие платформы.

Скачать TheHarvester: GitHub репозиторий
Пример использования:

theharvester -d example.com -b google

Этот запрос соберет информацию о домене example.com с помощью Google.

Чтобы обрабатывать большие объемы данных, такие как результаты работы инструментов OSINT, можно экспортировать данные в формат CSV или JSON.

theharvester -d example.com -b google -f csv -o results.csv

Пример экспорта результатов в CSV:

7. SpiderFoot и Recon-ng — это автоматизированные платформы для проведения OSINT-расследований. Они позволяют собирать данные о доменах, IP-адресах, WHOIS-информации и многом другом, предоставляя интерфейс для анализа полученной информации.

• SpiderFoot использует API различных сервисов для сбора информации, включая данные о доменах, DNS, репутации и другие.
• Recon-ng позволяет настраивать сценарии и автоматизировать сбор информации с использованием различных модулей.

Скачать SpiderFoot: GitHub репозиторий
Скачать Recon-ng: GitHub репозиторий

Использование SpiderFoot для сбора данных о домене:

spiderfoot -s example.com -t all

Пример вывода:

[INFO] SpiderFoot Report for example.com
[INFO] DNS records: example.com. A 93.184.216.34
[INFO] WHOIS Data: Registrar: Example Corp.

SpiderFoot автоматически собрал все доступные данные о домене example.com, включая DNS-записи и WHOIS.

Изменения в API социальных сетей​

С недавними изменениями в политике API социальных сетей, доступ к данным пользователей ограничен, и многие платформы требуют разрешений для использования их данных. Например, Twitter и Facebook ограничили доступ к некоторым данным через свои API, что влияет на эффективность инструментов, таких как Sherlock или Maltego, для сбора информации о социальных профилях.

Влияние ИИ и автоматизации на OSINT​

Современные тренды в OSINT включают использование искусственного интеллекта (ИИ) для анализа текстов, изображений и видеоданных. ИИ позволяет автоматически анализировать большие объемы данных, выявлять аномалии и создавать прогнозы на основе открытых источников.

Пример применения ИИ в OSINT:

• Модели машинного обучения используются для анализа изображений и видео (например, для распознавания объектов или лиц), что особенно полезно при анализе открытых видеозаписей.
• Нейросети для анализа текстов помогают выявлять скрытые паттерны в текстах на форумах, в новостях и блогах.

Использование ИИ и автоматизации в OSINT позволяет значительно ускорить процессы расследования, повышая точность анализа и снижая нагрузку на аналитиков.

Заключение​

OSINT — это мощный инструмент для безопасников, который позволяет собирать и анализировать информацию из открытых источников. В этой статье мы рассмотрели несколько популярных инструментов OSINT, таких как ExifTool, Google Dorking, Sherlock, Maltego, Shodan и TheHarvester, а также привели примеры кода для их использования.

Если вы хотите углубить свои знания и научиться применять OSINT в реальных ситуациях, а также овладеть передовыми методами работы с открытыми источниками, рекомендуем вам пройти курс OSINT: технология боевой разведки.

 

[f22]

Спасибо за статью, жаль только не было каких-то реальных кейсов/примеров использования этих инструментов.
Интересно не просто описание, но и боевое применение