Последнее обновление: 20 октября 2025
Время чтения: 35 минут
Уровень: Начинающий → Эксперт
Навигация по OSINT-Экосистеме Codeby
Сейчас вы здесь: → Центральный гайд по OSINT 2025Эта статья — точка входа в экосистему из 12+ материалов по открытой разведке
Выберите свой путь:
Новичок в OSINT?
→ Начните с "Основ OSINT для безопасника" — инструменты и методы разведки
Нужны конкретные инструменты?
→ См. раздел 5 "Экосистема инструментов" ниже + детальные гайды:
- SpiderFoot: полное руководство 2024
- theHarvester: сбор разведданных
- Censys: мощный поисковик для хакера
- Google Dorks: не просто хакинг
→ См. раздел 2 "Юридический компас" и раздел 4.4 "Защита от OSINT" этой статьи
Корпоративная разведка и безопасность?
→ "Корпоративный OSINT: взламываем и защищаем компании"
Telegram и социальные сети?
→ "OSINT в Telegram 2025: методы и правовые границы"
→ "Sherlock Bot: мастер-класс по разведке"
→ "OSINT боты: гид для новичков"
Автоматизация через AI и Python?
→ См. разделы 1 "LLM в OSINT" и 8 "Due Diligence с AI" этой статьи
Ключевые Выводы — Что Нужно Знать Прямо Сейчас
То, что ты сейчас прочитаешь, — это не просто статья. Это твой персональный гайд по выживанию и доминированию в мире OSINT 2025 года. Забудь о "волшебных кнопках" и поверхностных обзорах. Мы погрузимся глубоко, до самой сути.Побеждает не тот, у кого больше инструментов, а тот, у кого лучше workflow. Эффективность OSINT-специалиста — это не про количество утилит. Это про выстроенную, автоматизированную цепочку: сбор → нормализация → анализ → визуализация → отчет.AI — это не будущее, а настоящее OSINT. LLM больше не игрушки. Они — твой главный инструмент для синтеза данных, автоматической кластеризации угроз и генерации гипотез. Забудь про ручной анализ терабайтов информации.
Анонимность — это многоуровневая система, а не один VPN. Один VPN в 2025 году — это уровень новичка. Профессионалы строят цепочки (VPN → Tor/Whonix → Proxy) и используют изолированные виртуальные среды. Это твоя цифровая броня.
Время на освоение базового стека: 40-60 часов. Это включает настройку среды и практику с ключевыми инструментами. Не так много, чтобы стать профи.
Минимальный бюджет для старта: $0. Да, ты не ослышался. Большинство мощных инструментов имеют бесплатные или Community-версии. Реальные затраты начинаются с API-ключей и облачной инфраструктуры ($50-200/мес), когда ты выходишь на серьезный уровень.
Правовая строгость растет. В 2024 году по ст.137 УК РФ (незаконный сбор персональных данных) возбуждено 34 дела. Знание границ легальности — это не опция, а необходимость.
Что Нужно Знать Перед Началом: Твой Фундамент
Прежде чем мы двинемся дальше, давай расставим точки над "i". Без этих базовых знаний ты просто не сможешь эффективно работать. Это не обсуждается.Основы Linux и командной строки: Ты должен уверенно работать в терминале. Навигация, установка пакетов через
apt
, работа с файлами — это твой хлеб.Базовый Python: Понимание синтаксиса, умение устанавливать библиотеки через
pip
и работать с API. Без этого 70% материала останется для тебя теорией. Ресурс для старта:
Ссылка скрыта от гостей
.Понимание сетей (TCP/IP, DNS, HTTP): Как работает интернет? Как передаются данные? Это критически важно для анализа цифровых следов.
Установленное ПО:
- Виртуализация: VirtualBox 8.x или VMware Workstation Pro 18.x
- Docker: Docker Desktop (Windows/macOS) или Docker Engine (Linux). Без контейнеров никуда в 2025.
- 16GB RAM (32GB рекомендуется для работы с большими датасетами)
- 4-ядерный CPU
- 200GB свободного места на SSD
Оглавление
- OSINT и LLM: Новая Парадигма Разведки
- Юридический и Этический Компас
- Выбор Платформы: Фундамент OSINT-Лаборатории
- Специализации в OSINT: Выбери Направление
- Экосистема Инструментов 2025: Детальный Разбор
- 5.1. Топ-25 OSINT Инструментов: Сравнительная Таблица
- 5.2. Комплексные Платформы — Автоматизация Разведки
- 5.3. Email и Domain OSINT — Фундамент Разведки
- 5.4. Сетевая Разведка — Поиск Уязвимостей
- 5.5. SOCMINT — Инструменты для Социальных Сетей
- 5.6. Telegram OSINT — Отдельная Вселенная
- 5.7. Быстрый Поиск: Задача → Инструмент
- Troubleshooting: Решение Типовых Проблем
- Глубокое Погружение: OSINT в Telegram и DarkNet
- Практический Кейс: Due Diligence Контрагента с AI
- Будущее OSINT: Тренды и Прогнозы на 2026+
- OSINT Roadmap: От Новичка до Эксперта
- FAQ: Ответы на Популярные Вопросы
- Ресурсы для Углубленного Изучения
- Следующие Шаги: Твоя Траектория
1. OSINT и LLM: Новая Парадигма Разведки в 2025
Думаешь, OSINT — это про то, как собрать побольше данных? Забудь. Это мышление 2023 года. В 2025-м фокус сместился кардинально: от сбора к синтезу.Проблема не в том, чтобы найти информацию. Проблема в том, чтобы переварить терабайты неструктурированных данных и вытащить из них работающие инсайты. Вот здесь на сцену и выходят Large Language Models (LLM).
Что изменилось?
Традиционные инструменты вроде
Ссылка скрыта от гостей
или SpiderFoot отлично собирают данные. Но их анализ? Это по-прежнему ручная работа, часы, дни, недели. LLM позволяют автоматизировать самый трудоемкий этап — осмысление. Это game changer.Практический кейс: Автоматический анализ репутации по новостным статьям
Представь: тебе нужно за считанные минуты оценить репутацию компании по сотне последних новостных публикаций. Вручную? Это ад. С LLM? Другое дело.Твой арсенал:
- Python 3.13+ (3.14 только что вышел и рекомендуется для новых проектов)
- Библиотеки:
requests
,beautifulsoup4
,openai
(илиollama
для локальных моделей) - API-ключ от OpenAI (GPT-5 доступен) или локально запущенная модель через Ollama (Llama 3.2, DeepSeek-R1, Gemma 3, Qwen3-VL)
Python:
import requests
import json
# Для локальной модели через Ollama (рекомендуется для приватности)
OLLAMA_API_URL = "http://localhost:11434/api/generate"
def analyze_with_llm(texts, company_name):
"""Анализирует корпус текстов через LLM"""
full_corpus = "\n\n---\n\n".join(texts)
prompt = f"""
Ты — старший аналитик по репутационным рискам. Проанализируй следующий
корпус текстов о компании "{company_name}". Оцени общий сентимент,
выяви ключевые темы и потенциальные риски.
Корпус текстов:
---
{full_corpus[:15000]}
---
Предоставь ответ в формате JSON:
{{
"overall_sentiment": "Позитивный/Нейтральный/Негативный/Смешанный",
"key_positive_themes": ["тема1", "тема2", "тема3"],
"key_negative_themes": ["риск1", "риск2"],
"emerging_risks": ["потенциальная_угроза1"],
"summary": "Краткое резюме на 3-4 предложения"
}}
"""
response = requests.post(
OLLAMA_API_URL,
json={"model": "llama3", "prompt": prompt, "stream": False}
)
return json.loads(response.json().get("response", "{}"))
# Полный код доступен в GitHub репозитории
Результат: Вместо часов ручного чтения и анализа ты получаешь структурированный JSON-отчет за пару минут. Это и есть смена парадигмы. Это OSINT 2025.
2. Юридический и Этический Компас OSINT-Специалиста 2025
Давай будем честны. 90% "OSINT-специалистов" в Telegram-каналах оперируют в серой или, чаще, черной зоне. Они используют утекшие базы данных, выдавая это за "разведку". Это не OSINT. Это нарушение закона, которое ведет к реальным срокам.Профессиональный OSINT — это работа исключительно с общедоступными данными. Запомни это.
Таблица легальности действий
Действие | Статус в РФ (152-ФЗ) | Статус в ЕС (GDPR) | Риски |
---|---|---|---|
Сбор данных с открытых страниц соцсетей | ![]() | ![]() | Низкие при соблюдении privacy |
Использование поисковиков (Google, Yandex) | ![]() | ![]() | Нулевые |
Анализ метаданных в публичных файлах | ![]() | ![]() | Нулевые |
Использование утекших баз данных | ![]() | ![]() | Высокие: уголовная ответственность, штрафы |
Скрейпинг с нарушением robots.txt | ![]() | ![]() | Средние: бан IP, судебный иск |
Социальная инженерия для получения данных | ![]() | ![]() | Высокие: уголовная ответственность |
Статистика 2024-2025
По данным исследования Telegram OSINT, в 2024 году по ст.137 УК РФ (нарушение неприкосновенности частной жизни) было возбуждено 34 дела за незаконный сбор персональных данных.С 30 мая 2025 года вступили в силу изменения в 152-ФЗ "О персональных данных", ужесточающие ответственность за нарушения. Это показывает растущую правовую строгость темы.
Все твои действия по сбору и обработке информации должны строго соответствовать законодательству твоей юрисдикции (включая, но не ограничиваясь, ФЗ-152 "О персональных данных", GDPR).ВАЖНО: Этот материал создан исключительно в образовательных целях. Автор и издатель не несут ответственности за любое неправомерное использование представленных инструментов и методик.
Помни: грань между легальной разведкой и преступлением тонка. Всегда консультируйся с юристом. Не рискуй своей свободой.
Детальный разбор правовых аспектов: "OSINT в Telegram 2025: правовые границы" — статья с юридическим анализом ст.137 УК РФ, кейсами и рекомендациями.
3. Выбор Платформы: Фундамент Твоей OSINT-Лаборатории
Выбор операционной системы для OSINT — это как выбор ножа для шеф-повара. Можно, конечно, готовить и обычным, но со специальным инструментом ты будешь работать быстрее, чище и эффективнее.Не экономь на фундаменте.
Сравнительная таблица: OSINT-дистрибутивы 2025
Критерий | Kali Linux 2025.3 | Parrot OS 6.2 Security | TraceLabs OSINT VM | CSI Linux 2025.2 |
---|---|---|---|---|
Философия | Penetration Testing (OSINT - часть) | Безопасность и анонимность | Чистый OSINT для CTF | Расследования (DFIR + OSINT) |
Предустановленные OSINT-инструменты | ~25 (базовый набор) | ~40 (расширенный) | ~80+ (максимальный набор) | ~60 (с уклоном в криминалистику) |
Интеграция с Anonsurf/Tor | Требует ручной настройки | Встроена (Anonsurf) | Требует ручной настройки | Встроена |
Потребление ресурсов (RAM) | Среднее (~1.5GB) | Среднее (~1.2GB) | Высокое (~2GB) | Высокое (~2.2GB) |
Актуальность пакетов | Rolling release | Rolling release | Обновляется реже | По версиям |
Стоимость | Бесплатно | Бесплатно | Бесплатно | Бесплатно (есть платная версия) |
Лучше всего для... | Пентестеров, которым нужен OSINT | OSINT-специалистов, ценящих анонимность | Новичков и участников CTF | Цифровых криминалистов |
Оценка 2025 | 8/10 | 9.5/10 | 8.5/10 | 7.5/10 |
Вывод 2025: Если твоя цель — чистый OSINT, то Parrot OS 6.1 Security — это твой выбор. Встроенные средства анонимизации и богатый набор инструментов "из коробки" делают ее лидером. Kali, конечно, остается стандартом для пентеста в целом, но для OSINT Parrot просто удобнее.
Архитектура безопасной OSINT-среды
4. Специализации в OSINT: Выбери Направление
OSINT — это не монолитная дисциплина. Это экосистема специализаций, каждая со своими инструментами, методологиями и применениями. Выбери свой путь.4.1. SOCMINT — Разведка в Социальных Сетях
Самое популярное направление для новичковЧто входит:
- Поиск людей по никнеймам в 400+ соцсетях
- Анализ профилей, друзей, активности
- Мониторинг Telegram-каналов и групп
- Геолокация по фотографиям
- Выявление фейковых аккаунтов
Sherlock — поиск никнейма по 500+ платформам
Самый быстрый способ найти все следы человека в интернете. Актуальная база источников в 2025.
Sherlock Bot — автоматизация в Telegram
Тот же Sherlock, но с удобным интерфейсом бота. 400+ соцсетей без установки софта.
Детальный гайд: "Sherlock Bot: мастер-класс по OSINT-разведке"
Instaloader — Instagram OSINT
Самый надежный способ скачивать данные из Instagram после закрытия API. Must-have инструмент.
Типичная проблема:
403 Forbidden
ошибки → см. раздел 6.2 TroubleshootingSocial Analyzer — AI-анализ профилей
AI-сентимент анализ и построение связей между профилями. Это уже не просто поиск — это интеллектуальная разведка.
OSINT боты — готовые решения
11 проверенных ботов для Telegram, VK, Discord с описанием возможностей каждого.
Каталог: "OSINT боты: гид для новичков в ИБ"
Специализированное направление: Telegram OSINT
Telegram стал золотой жилой OSINT после блокировок других соцсетей в РФ. Но легальный сбор требует знания законов.
- Ключевые инструменты: Telethon, TGStat API
- Правовые риски: ст.137 УК РФ — 34 дела в 2024
- Методики: Геолокация, лингвистический анализ, мониторинг каналов
Детальный разбор легальных техник сбора, настройки API, корпоративного мониторинга угроз, защиты от разведки.
Также см. раздел 7 этой статьи — практический код для анализа Telegram-каналов
Время освоения: 1-3 месяца для базового уровня
4.2. WEBINT — Разведка Веб-Инфраструктуры
Для пентестеров и bug bounty охотниковЧто входит:
- Поиск поддоменов и забытых сервисов
- Анализ DNS, SSL/TLS сертификатов
- Сканирование открытых портов
- Google Dorks для поиска уязвимостей
- Анализ attack surface компании
SpiderFoot — автоматизация с 200+ модулями
Безусловный лидер для комплексной автоматизированной разведки. Собирает данные о доменах, IP, email, профилях, утечках и угрозах. Автоматическая корреляция данных — это магия.
Полное руководство: "SpiderFoot: полное руководство по OSINT-инструменту 2024"
Установка на 4 ОС, настройка 8+ бесплатных API, практические кейсы (аудит инфраструктуры, расследование фишинга), сравнение с Maltego/Recon-ng/theHarvester.
theHarvester — email/subdomain сбор
Классика пассивного OSINT. Собирает email-адреса, субдомены, имена и хосты из 30+ источников (Google, Bing, Shodan, Censys). Базовый инструмент для любого специалиста.
Практический гайд: "theHarvester: сбор разведданных"
Типичная проблема: API keys not configured → см. раздел 6.5 Troubleshooting
Subfinder — специализация на субдоменах
Перечисление через 33 источника данных, 17 категорий флагов. Passive reconnaissance мирового класса.
Censys — альтернатива Shodan с преимуществами
Исторические данные, построение взаимосвязей между сервисами, многоуровневый анализ SSL/TLS, DNS, технологий. Глубже и структурированнее чем Shodan.
Детальный гайд: "Censys: мощный поисковик для хакера"
Практические скрипты, поиск по организациям, SSL, анализ уязвимостей (Heartbleed), этика использования.
Google Dorks — продвинутый поиск
Специальные поисковые запросы для нахождения уязвимых страниц, файлов, настроек инфраструктуры.
Примеры запросов: "Google Dorks: не просто хакинг, а мощный инструмент OSINT"
Типичный сценарий: Разведка перед пентестом компании X
- Subfinder → находим все поддомены (dev.company.com, staging.company.com)
- theHarvester → собираем email сотрудников для social engineering
- Censys → анализируем открытые порты, устаревшее ПО
- SpiderFoot → корреляция всех данных, построение карты атаки
- Google Dorks → ищем забытые конфигурационные файлы, бэкапы
4.3. Корпоративный OSINT
Для Red Team, Blue Team и бизнес-аналитиковЧто входит:
- Внешний аудит безопасности компании через OSINT
- Поиск утечек корпоративных данных в DarkNet
- Мониторинг упоминаний бренда
- Конкурентная разведка
- Проверка контрагентов (Due Diligence)
- Защита от OSINT-атак (Blue Team perspective)
"Корпоративный OSINT: взламываем и защищаем компании используя только открытые данные"
Что внутри:
- Методы поиска информации для Red Team (атакующая разведка)
- Защита от OSINT-атак для Blue Team (защитная стратегия)
- Анализ подрядчиков и сотрудников
- Построение карт инфраструктуры через Shodan
- Выявление уязвимостей в цепочках поставок
- FAQ об этике, законе и AI-инструментах в корпоративной разведке
См. раздел 8 этой статьи — полный рабочий код для автоматизированной проверки компании через Python + AI (анализ реестров, новостей, соцсетей с синтезом отчета через LLM).
Время освоения: 4-6 месяцев (требует знания предыдущих специализаций)
4.4. Защита от OSINT
Для всех, кто ценит приватностьЛучшая защита — это понимание атаки. Если ты знаешь, как работает OSINT-разведка, ты можешь минимизировать свой цифровой след.
Ключевые направления защиты:
Personal Security:
- Минимизация цифрового следа (удаление старых аккаунтов, чистка метаданных)
- Настройки приватности в социальных сетях (VK, Instagram, Facebook)
- Проверка утечек своих данных (HaveIBeenPwned, Dehashed)
- Уничтожение метаданных в фото и документах (ExifTool)
- Self-OSINT аудит компании (что видно извне?)
- Защита корпоративной инфраструктуры от разведки
- Обучение сотрудников цифровой гигиене
- Мониторинг упоминаний бренда и утечек
- Изолированные виртуальные машины для работы
- Использование sock puppet аккаунтов
- VPN + Tor для анонимизации
- Никогда не смешивай личные и рабочие аккаунты
5. Экосистема Инструментов 2025: Детальный Разбор
Есть один большой миф: "Нужно знать 100+ инструментов". Это чушь.Реальность: Тебе нужно мастерски владеть 10-15 ключевыми инструментами и, что самое главное, понимать, как их комбинировать. Это как с оружием: лучше один пистолет, которым ты умеешь стрелять, чем целый арсенал, в котором ты путаешься.
5.1. Топ-25 OSINT Инструментов 2025: Сравнительная Таблица
Инструмент | Категория | Killer Feature 2025 | Типичная проблема | Быстрое решение | Гайд |
---|---|---|---|---|---|
SpiderFoot | Комплексная платформа | Автокорреляция данных из 200+ источников | Модули не работают без API | См. раздел 6.6 | Полное руководство |
Maltego | Визуализация связей | Графовый анализ сложных расследований | Лимит бесплатной версии | Используй Community Edition |
Ссылка скрыта от гостей
|
Recon-ng | Веб-разведка | Модульная структура, гибкость workflow | Marketplace errors | marketplace refresh | - |
theHarvester | Email/Domain OSINT | Сбор из 30+ источников за минуты | API keys not configured | См. раздел 6.5 | Гайд |
Subfinder | Subdomain enum | 33 источника данных | Rate limiting | Используй -t 50 | - |
Amass | DNS mapping | Самый глубокий DNS reconnaissance | Медленная работа | Используй active mode выборочно | - |
Sherlock | Username OSINT | Поиск по 500+ платформам | Docker run errors | См. раздел 6.1 | - |
Sherlock Bot | Telegram OSINT | Удобный интерфейс бота | Лимиты бесплатной версии | Используй API напрямую | См. раздел 5.5 |
holehe | Email OSINT | Проверка регистраций без reset пароля | False positives | Кросс-валидация 2+ источниками | - |
Instaloader | Instagram OSINT | Обход закрытия API | 403 Forbidden errors | См. раздел 6.2 | - |
Social Analyzer | SOCMINT AI | AI-сентимент анализ профилей | Установка зависимостей | См. раздел 6.3 | - |
Telethon | Telegram API | Полный контроль через Python | AuthKeyUnregisteredError | См. раздел 6.4 | OSINT в Telegram |
GeoSpy | GEOINT | AI-геолокация по фото | Платная подписка | Используй бесплатные альтернативы | - |
ExifTool | Метаданные | Извлечение всех метаданных из файлов | Сложный синтаксис | Используй GUI обертки | - |
Shodan | Network recon | Поиск IoT и уязвимых устройств | Дорогая подписка | Начни с бесплатного аккаунта | Сравнение с Censys |
Censys | Network recon | Исторические данные, SSL анализ | API rate limits | Распределяй запросы по времени | Детальный гайд |
Google Dorks | Web OSINT | Находит забытые конфиги и бэкапы | Капчи Google | Используй прокси-ротацию | 15+ примеров |
Dehashed | Утечки | Поиск по breach базам | Платная подписка | Альтернатива: HaveIBeenPwned | - |
OnionScan | DarkNet | Сканирование onion-сервисов | Медленная работа | Запускай параллельно | - |
Arkham Intelligence | Blockchain | AI-деанонимизация криптокошельков | Дорогая платформа | - | - |
OSRFramework | Multi-tool | 50+ модулей для разных задач | Устаревшая документация | Изучай через примеры | - |
Metagoofil | Document OSINT | Извлечение метаданных из публичных документов | Требует много времени | Фильтруй по типам файлов | - |
Photon | Web crawler | Быстрый веб-краулер для OSINT | Rate limiting | Используй --delay | - |
Twint | Twitter OSINT | Скрейпинг Twitter без API | Не работает после изменений X | ![]() | - |
LinkedIn OSINT | SOCMINT | Сбор данных о сотрудниках | Блокировка аккаунта | Используй Phantom Buster | - |
Wayback Machine | Historical data | Архив веб-страниц | Не все страницы сохранены | Комбинируй с archive.today | - |
Примечание: Инструменты расположены по частоте использования в реальных OSINT-расследованиях 2025 года.
5.2. Комплексные Платформы — Автоматизация Разведки
Комплексные OSINT-платформы — это твой центр управления разведкой. Вместо запуска десятков отдельных инструментов, ты получаешь единый интерфейс для сбора данных из сотен источников с автоматической корреляцией результатов.SpiderFoot — безусловный лидер для автоматизации в 2025.
200+ модулей для разведки доменов, IP, email, профилей в соцсетях, утечек и угроз. Автоматическая корреляция данных — это не просто сбор, это построение связей между, казалось бы, несвязанными точками. Идеально для первого знакомства с OSINT-платформами.
Для кого: Все уровни — от новичков до профессионалов
Killer Feature: Автоматическое построение связей между разрозненными данными (correlation engine)
Типичная проблема: Модули не работают без настроенных API-ключей
Решение: См. troubleshooting в разделе 6.6 ниже + гайд по получению бесплатных API
Детальное руководство: "SpiderFoot: полное руководство по OSINT-инструменту 2024"
- Установка на 4 ОС (Windows, Linux, macOS, Docker)
- Настройка 8+ бесплатных API (Shodan, VirusTotal, etc.)
- Практические кейсы: аудит инфраструктуры, расследование фишинга
- Сравнение с Maltego, Recon-ng, theHarvester
- OPSEC: работа через Tor/VPN, правовые нюансы
- Maltego — золотой стандарт для визуализации, но дорогой ($999/год Classic)
- Recon-ng — модульный фреймворк для тех, кто любит CLI
- Lampyre — российская альтернатива с фокусом на данные СНГ (от $40/мес)
5.3. Email и Domain OSINT — Фундамент Разведки
Email и domain reconnaissance — это точка входа для большинства OSINT-расследований. Найди email сотрудников → получи доступ к организационной структуре. Перечисли субдомены → обнаружь забытые dev-серверы с уязвимостями.theHarvester — классика пассивного сбора с 2005 года.
Email-адреса, субдомены, имена, хосты из 30+ источников (Google, Bing, Shodan, Censys, Baidu, LinkedIn). Это базовый инструмент, которым должен владеть каждый OSINT-специалист. Запускаешь одну команду — получаешь комплексный дамп информации о домене.
Для кого: Все уровни — must-have инструмент
Killer Feature: Скорость сбора из десятков источников за минуты
Типичная проблема:
API keys not configured
— многие источники требуют регистрацииРешение: См. раздел 6.5 "theHarvester: API Keys Setup" — где получить бесплатные ключи
Практический гайд: "theHarvester: сбор разведданных"
- Примеры команд для разных сценариев
- DNS-брутфорс, анализ виртуальных хостов
- Настройка API-ключей (Shodan, Censys, SecurityTrails)
- Интеграция с другими инструментами
- Вывод в разных форматах (TXT, HTML, JSON)
Если theHarvester — это швейцарский нож, то Subfinder — это лазерный скальпель для поиска субдоменов. 33 источника данных, 17 категорий флагов, passive reconnaissance мирового класса. Находит даже те субдомены, которые не индексируются поисковиками.
Использование:
Bash:
# Базовый поиск:
subfinder -d example.com -all
# Рекурсивный поиск:
subfinder -d example.com -all -recursive
Bash:
# 1. Быстрый сбор через theHarvester
theHarvester -d example.com -b all -l 500
# 2. Глубокое перечисление субдоменов
subfinder -d example.com -all -recursive
# 3. DNS-брутфорс на найденных субдоменах
amass enum -d example.com -brute
5.4. Сетевая Разведка — Поиск Уязвимостей и Attack Surface
Сетевая разведка — это анализ инфраструктуры компании через открытые источники: какие порты открыты, какие сервисы запущены, какие уязвимости известны, какие SSL-сертификаты используются. Это критически важно для пентестеров и bug bounty охотников.Censys — альтернатива Shodan с серьезными преимуществами.
Пока все говорят о Shodan, профессионалы переходят на Censys. Почему? Исторические данные (track changes over time), построение взаимосвязей между сервисами и доменами, многоуровневый анализ SSL/TLS сертификатов, DNS записей, используемых технологий. Censys глубже и структурированнее.
Для кого: Средний-продвинутый уровень (пентестеры, инфобез-специалисты)
Killer Feature: Исторический анализ изменений инфраструктуры + построение связей между активами
Типичная проблема: API rate limits — бесплатный план ограничен 250 req/месяц
Решение: Распределяй запросы, используй web-интерфейс для сложных запросов
Полный гайд: "Censys: мощный поисковик для хакера"
- Практические примеры поисковых запросов
- Скрипты для автоматизации через API
- Поиск по организациям, SSL-сертификатам
- Анализ уязвимостей (например, Heartbleed)
- Сравнение с Shodan: когда использовать что
- Этика использования и установка официального клиента
Самый известный поисковик для IoT-устройств и промышленных систем. 500+ миллионов устройств в индексе. Находит камеры видеонаблюдения, промышленные контроллеры, серверы с открытыми портами.
Практический кейс: Поиск уязвимых устройств компании X
1. Censys → находим все IP и домены организации
2. Shodan → анализируем открытые порты и сервисы
3. Censys → проверяем SSL-сертификаты на слабые шифры
4. Google Dorks → ищем публично доступные конфиги
5. SpiderFoot → корреляция всех данных
5.5. SOCMINT — Инструменты для Социальных Сетей
SOCMINT (Social Media Intelligence) — самое популярное направление OSINT в 2025. Почему? Потому что люди добровольно публикуют огромные объемы данных о себе. Твоя задача — собрать и проанализировать эти крошки.Sherlock — поиск никнейма по 500+ платформам.
Самый быстрый способ найти все следы человека в интернете по одному никнейму. Проверяет регистрацию на 500+ сайтах за минуты. Актуальная база источников, регулярные обновления.
Для кого: Все уровни — входная точка в SOCMINT
Killer Feature: Скорость (500+ сайтов за 2-3 минуты) + актуальная база 2025
Типичная проблема: Rate limiting — многие сайты блокируют по IP после 10-20 запросов
Решение: См. раздел 6.1 — прокси-ротация, уменьшение threads
Bash:
# Базовое использование:
sherlock username
# С прокси для обхода rate limiting:
sherlock username --proxy socks5://127.0.0.1:9050
Автоматизация Sherlock через удобный интерфейс бота. Поиск по 400+ соцсетям без установки софта. Просто отправляешь никнейм боту — получаешь результаты.
Подробнее: См. раздел 5.5 для базовых команд и troubleshooting в разделе 6.1
Instaloader — Instagram OSINT после закрытия API.
Instagram закрыл официальный API в 2020. Instaloader — самый надежный способ скачивать данные из Instagram в 2025: профили, посты, stories, highlights, IGTV, followers/following lists.
Решение: См. раздел 6.2 — авторизация через sock puppet, сохранение сессий, имитация реального пользователяТипичная проблема:
403 Forbidden
errors при попытке скачивания
Social Analyzer — AI для анализа профилей.
Это уже не просто сбор — это интеллектуальная разведка. AI-сентимент анализ постов, автоматическое построение связей между профилями, выявление фейковых аккаунтов.
OSINT боты — готовые решения для новичков.
11 проверенных ботов для Telegram, VK, Discord с описанием возможностей каждого.
Каталог: "OSINT боты: гид для новичков в ИБ"
- Топовые боты для поиска по соцсетям
- Боты для геймерских комьюнити
- Анализ по номерам телефонов и никам
- Советы по безопасной работе
5.6. Telegram OSINT — Отдельная Вселенная
Telegram заслуживает отдельной категории. После блокировок других соцсетей в РФ, Telegram стал золотой жилой информации: новости, объявления, утечки данных, хакерские форумы, наркоторговля — всё в одном мессенджере.Но Telegram OSINT — это правовое минное поле. Неправильный сбор данных может привести к уголовной ответственности.
Telethon — официальная Python-библиотека для Telegram API.
Полный контроль над взаимодействием с Telegram через код. Анализ каналов, мониторинг сообщений, сбор участников (с ограничениями), автоматизация любых задач.
Для кого: Средний-продвинутый (требует знание Python)
Killer Feature: Полная автоматизация Telegram-разведки через скрипты
Типичные проблемы:
AuthKeyUnregisteredError
→ см. раздел 6.4FloodWaitError
(превышение лимитов) → обработка в коде
TGStat API — аналитика каналов и чатов.
Коммерческий сервис для мониторинга Telegram: статистика просмотров, рост подписчиков, ER (engagement rate), топ постов. Бесплатный plan ограничен, но достаточен для базовой разведки.
Комплексный материал — ОБЯЗАТЕЛЕН К ИЗУЧЕНИЮ:КРИТИЧНО — Правовые риски:
В 2024 году возбуждено 34 дела по ст.137 УК РФ (нарушение неприкосновенности частной жизни) за незаконный сбор данных. С 30 мая 2025 года вступили в силу изменения в 152-ФЗ, ужесточающие ответственность. Telegram-разведка без понимания правовых границ — прямой путь к проблемам.
"OSINT в Telegram 2025: методы, инструменты и правовые границы легального исследования"
Что внутри:
- Легальные техники сбора данных через Telethon
- Настройка TGStat API для мониторинга
- Методики анализа: геолокация, лингвистика
- Юридический разбор ст.137 УК РФ с кейсами
- Корпоративный мониторинг Telegram-угроз
- Настройки приватности и защита от OSINT-разведки
- Рекомендации по корпоративным рискам
5.7. Быстрый Поиск: Задача → Инструмент → Решение
Не знаешь, с чего начать для своей задачи? Эта таблица — твой навигатор.Твоя Задача | Рекомендуемые Инструменты | Детальный Гайд |
---|---|---|
Найти все профили человека по нику | Sherlock, Sherlock Bot, holehe | Sherlock Bot мастер-класс |
Проверить благонадежность контрагента | SpiderFoot, Python+AI, Google | Корпоративный OSINT + раздел 8 |
Найти все поддомены компании | Subfinder, Amass, theHarvester | theHarvester гайд + раздел 5.3 |
Проанализировать Telegram-канал | Telethon, TGStat API | OSINT в Telegram 2025 + раздел 7 |
Найти уязвимые устройства компании | Censys, Shodan, Masscan | Censys: гайд для хакера |
Собрать email-адреса сотрудников | theHarvester, hunter.io, SpiderFoot | theHarvester + SpiderFoot |
Автоматизировать сбор через Python | requests, BeautifulSoup, Telethon, API | Разделы 1, 7, 8 этой статьи |
Защитить компанию от OSINT-атак | Self-OSINT аудит, мониторинг | Как защититься от OSINT |
Найти утечки данных компании | Google Dorks, Dehashed, SpiderFoot | Google Dorks |
Создать автоматический мониторинг | Python + LLM + cron/GitHub Actions | Раздел 1 этой статьи |
Геолокация по фотографии | ExifTool, GeoSpy, Google Lens | - |
Анализ DarkNet форумов | OnionScan, manual research, Tor | Раздел 7 этой статьи |
6. Troubleshooting: Решение Типовых Проблем OSINT-Инструментов
Даже у самых опытных бойцов бывают проблемы. Не паникуй. Вот список типовых ситуаций и проверенных решений, которые сэкономят тебе часы отладки.6.1. Sherlock: Docker и Rate Limiting
Проблема 1:docker run sherlock/sherlock username
не работает
Bash:
# Симптомы:
docker: Error response from daemon: pull access denied for sherlock/sherlock
Bash:
# Правильная команда (официальный образ):
docker run --rm -t sherlock/sherlock-project username
# Или собери локально:
git clone https://github.com/sherlock-project/sherlock.git
cd sherlock
docker build -t sherlock .
docker run --rm -t sherlock username
Bash:
# Симптомы:
[!] HTTP Error: 429 Too Many Requests
Bash:
# Используй прокси-ротацию:
sherlock username --proxy socks5://127.0.0.1:9050
# Или уменьши количество потоков:
sherlock username --timeout 10 --proxy-list proxies.txt
Решение:
- Всегда верифицируй результаты вручную
- Ищи пересекающиеся данные (друзья, фото, интересы)
- Используй принцип триангуляции (минимум 3 источника для подтверждения)
6.2. Instaloader: 403 Forbidden и Обход Блокировок
Проблема 1:403 Forbidden
при скачивании
Bash:
# Симптомы:
QueryReturnedForbiddenException: 403 Forbidden
Bash:
# 1. Используй авторизацию (обязательно через sock puppet аккаунт!)
instaloader --login=your_fake_account profile_name
# 2. Имитируй реального пользователя:
instaloader profile_name --slow --quiet
# 3. Используй старую сессию:
instaloader --load-cookies session_file profile_name
Решение:
Python:
import instaloader
L = instaloader.Instaloader()
# Войди интерактивно (только первый раз):
L.interactive_login(username)
# Сохрани сессию:
L.save_session_to_file(f"{username}_session")
# В следующий раз:
L.load_session_from_file(username, f"{username}_session")
Решение:
Bash:
# Обновляй Instaloader регулярно:
pip install --upgrade instaloader
# Следи за GitHub issues:
# https://github.com/instaloader/instaloader/issues
КРИТИЧНО: Никогда не используй свой личный Instagram-аккаунт для OSINT! Создавай sock puppets.
6.3. Social Analyzer: Установка и API Integration
Проблема 1: Ошибки при установке зависимостей
Bash:
# Симптомы:
ERROR: Could not find a version that satisfies the requirement
Bash:
# Используй Docker (рекомендуется):
git clone https://github.com/qeeqbox/social-analyzer.git
cd social-analyzer
docker build -t social-analyzer .
docker run -p 9005:9005 social-analyzer
# Или виртуальное окружение Python:
python3 -m venv venv
source venv/bin/activate
pip install social-analyzer
Решение:
- Большинство функций Social Analyzer работают без API ключей
- Для расширенного функционала получи ключи:
- Twitter API (V2) —
Ссылка скрыта от гостей
- Facebook Graph API —
Ссылка скрыта от гостей
- Twitter API (V2) —
Python:
# config.json
{
"twitter_api_key": "YOUR_KEY",
"twitter_api_secret": "YOUR_SECRET"
}
6.4. Telethon: AuthKey и Flood Wait
Проблема 1:AuthKeyUnregisteredError
Bash:
# Симптомы:
telethon.errors.rpcerrorlist.AuthKeyUnregisteredError: The key is not registered
Bash:
# Удали старую сессию и перезапусти:
rm *.session
python your_script.py # Пройди авторизацию заново
FloodWaitError
— слишком много запросов
Python:
# Симптомы:
telethon.errors.rpcerrorlist.FloodWaitError: A wait of 3600 seconds is required
# Решение: Обработка в коде
from telethon.errors import FloodWaitError
import time
try:
messages = await client.get_messages(channel, limit=100)
except FloodWaitError as e:
print(f"FloodWait: ждем {e.seconds} секунд")
time.sleep(e.seconds)
messages = await client.get_messages(channel, limit=100)
database is locked
Решение:
Python:
# Используй только ОДИН экземпляр клиента за раз
# И корректно завершай сессию:
async with TelegramClient('session_name', api_id, api_hash) as client:
# Твой код здесь
pass
# Сессия автоматически закроется
6.5. theHarvester: API Keys Setup
Проблема: Многие источники не работают без API ключей
Bash:
# Симптомы:
[!] Error: API key for Shodan not found
Bash:
# 1. Найди конфиг:
~/.theHarvester/api-keys.yaml
# 2. Добавь ключи (бесплатные варианты):
apikeys:
shodan: YOUR_SHODAN_KEY # shodan.io (бесплатно 100 req/мес)
censys_id: YOUR_CENSYS_ID # censys.io (250 req/мес)
censys_secret: YOUR_CENSYS_SECRET
virustotal: YOUR_VT_KEY # virustotal.com (бесплатно)
securitytrails: YOUR_ST_KEY # securitytrails.com (50 req/мес)
# 3. Проверь работу:
theHarvester -d example.com -b shodan
Сервис | Бесплатный лимит | Регистрация |
---|---|---|
Shodan | 100 req/месяц |
Ссылка скрыта от гостей
|
Censys | 250 req/месяц |
Ссылка скрыта от гостей
|
VirusTotal | 4 req/минута |
Ссылка скрыта от гостей
|
SecurityTrails | 50 req/месяц |
Ссылка скрыта от гостей
|
Hunter.io | 25 searches/месяц |
Ссылка скрыта от гостей
|
6.6. SpiderFoot: Модули и Proxy Configuration
Проблема 1: Модули не работают
Bash:
# Симптомы в логах:
Module 'sfp_shodan' failed: API key not configured
Bash:
# Настрой API ключи через веб-интерфейс:
# Settings → API Keys → Добавь ключи для нужных модулей
# Или через конфиг:
~/.spiderfoot/spiderfoot.cfg
Решение:
Bash:
# Запусти SpiderFoot с прокси:
python3 sf.py -l 127.0.0.1:5001 -p socks5://127.0.0.1:9050
# Или настрой в веб-интерфейсе:
# Settings → Global → HTTP Proxy → socks5://127.0.0.1:9050
Решение:
- Используй Module Groups для выбора только нужных модулей
- Настрой blacklist доменов/IP для исключения шума
- Экспортируй результаты в CSV/JSON для фильтрации через Python
6.7. Maltego: Transforms Installation и Data Limits
Проблема 1: Transforms не устанавливаются
Bash:
# Симптомы:
Error installing transform: Connection timeout
Bash:
# 1. Проверь интернет-соединение и proxy настройки
# 2. Установи вручную через Transform Hub:
# Maltego → Transform Hub → Find Transform → Install
# 3. Для кастомных transforms:
# Maltego → Transforms → New Local Transform
Решение:
- Community Edition лимит: 12 entities на граф
- Обходы:
- Создавай несколько графов для разных частей расследования
- Используй "Remove Entity" для очистки графа
- Рассмотри покупку Maltego Classic ($999/год) для профессиональной работы
Решение:
Bash:
# Отключи ненужные автоматические transforms:
# Maltego → Manage → Transforms → Disable
# Используй "Run All Transforms" выборочно
# Запускай transforms по одному для критичных entity
Общая таблица: Проблема → Решение
Проблема | Инструмент | Быстрое решение | Детали |
---|---|---|---|
403 Forbidden | Instaloader, Web scrapers | Используй прокси + cookies | Раздел 6.2 |
Rate Limiting | Sherlock, API tools | Уменьши threads, добавь delays | Раздел 6.1 |
API Keys not configured | SpiderFoot, theHarvester | Получи бесплатные ключи | Разделы 6.5, 6.6 |
AuthKeyUnregisteredError | Telethon | Удали .session файл | Раздел 6.4 |
Docker run errors | Sherlock, Social Analyzer | Проверь образ: sherlock-project | Раздел 6.1 |
Модули не работают | SpiderFoot | Настрой API в веб-интерфейсе | Раздел 6.6 |
False Positives | Sherlock, holehe | Кросс-валидация 3+ источников | Раздел 6.1 |
Деанонимизация | Любой | Используй VPN+Tor+ВМ | Раздел 3 |
Принцип отладки OSINT-инструментов:
- Проверь логи — большинство инструментов выводят детальные ошибки
- Изучи GitHub Issues — скорее всего, твоя проблема уже решена
- Тестируй на простых примерах — убедись, что инструмент работает вообще
- Изолируй проблему — это API? Сеть? Конфигурация?
7. Глубокое Погружение: OSINT в Telegram и DarkNet
Эти две области — самые востребованные и, одновременно, самые опасные для OSINT-аналитика. Здесь цена ошибки — твоя деанонимизация. Действуй с умом.7.1. OSINT в Telegram: Легальный Сбор и Анализ
Контекст: После блокировок других соцсетей Telegram стал настоящей золотой жилой информации в РФ. Но прямой скрейпинг без понимания правовых рисков — это путь к проблемам.Твои инструменты:
- Telethon (Python) — официальная библиотека для работы с Telegram API
- TGStat API — аналитика каналов и чатов
- API-ключи получаются на
Ссылка скрыта от гостей
КРИТИЧНО: Никогда не используй свой личный аккаунт для OSINT! Создай отдельный "чистый" аккаунт (sock puppet).
Практический пример: Анализ Telegram-канала
Задача: Собрать и проанализировать последние 200 сообщений из публичного канала.
Python:
import asyncio
from telethon import TelegramClient
import re
import json
# API credentials (получи на my.telegram.org)
API_ID = 12345678 # ЗАМЕНИ
API_HASH = 'your_api_hash' # ЗАМЕНИ
SESSION_NAME = 'osint_session'
TARGET_CHANNEL = 'durov' # Пример: канал Павла Дурова
async def analyze_channel(channel_username, limit=200):
"""Анализирует сообщения из публичного канала"""
results = {
"channel": channel_username,
"total_messages": 0,
"link_domains": {},
"mentioned_users": {},
"hashtags": {},
"date_range": {}
}
async with TelegramClient(SESSION_NAME, API_ID, API_HASH) as client:
print(f"Анализ канала @{channel_username}...")
try:
channel = await client.get_entity(channel_username)
except Exception as e:
print(f"Ошибка: канал не найден. {e}")
return None
async for message in client.iter_messages(channel, limit=limit):
results["total_messages"] += 1
if not message.text:
continue
# Поиск ссылок
urls = re.findall(r'http[s]?://(?:[a-zA-Z]|[0-9]|[$-_@.&+])+', message.text)
for url in urls:
try:
domain = url.split('/')[2]
results["link_domains"][domain] = results["link_domains"].get(domain, 0) + 1
except IndexError:
continue
# Поиск упоминаний
users = re.findall(r'@(\w+)', message.text)
for user in users:
results["mentioned_users"][user] = results["mentioned_users"].get(user, 0) + 1
# Поиск хэштегов
tags = re.findall(r'#(\w+)', message.text)
for tag in tags:
results["hashtags"][tag] = results["hashtags"].get(tag, 0) + 1
return results
# Запуск
if __name__ == '__main__':
analysis = asyncio.run(analyze_channel(TARGET_CHANNEL, limit=200))
if analysis:
print(json.dumps(analysis, indent=2, ensure_ascii=False))
- Используй VPN/Tor при запуске скриптов
- Используй API ключи от аккаунта, не связанного с твоей личностью
- Не злоупотребляй запросами — риск бана от Telegram
- Помни про ст.137 УК РФ — 34 дела в 2024, изменения в 152-ФЗ с мая 2025
7.2. DarkNet OSINT: Разведка в Теневом Интернете
Контекст: DarkNet (Tor, I2P, Freenet) — это не только рынки наркотиков. Это место, где обсуждаются утечки данных, продаются эксплойты, планируются кибератаки. Для threat intelligence специалиста DarkNet OSINT — это необходимость.Твои инструменты:
- Tor Browser — базовый доступ к .onion сайтам
- Ahmia, Torch — поисковики по Tor
- OnionScan — сканирование onion-сервисов на уязвимости
- Scrapy + Tor — автоматизация сбора
Bash:
# Установка Tor (Debian/Ubuntu):
sudo apt install tor
# Запуск Tor daemon:
sudo systemctl start tor
# Проверка работы:
curl --socks5 127.0.0.1:9050 https://check.torproject.org
# Использование с Python:
pip install requests[socks]
import requests
proxies = {
'http': 'socks5://127.0.0.1:9050',
'https': 'socks5://127.0.0.1:9050'
}
response = requests.get('http://someonionsite.onion', proxies=proxies)
print(response.text)
Python:
import requests
from bs4 import BeautifulSoup
import re
TOR_PROXY = {'http': 'socks5://127.0.0.1:9050', 'https': 'socks5://127.0.0.1:9050'}
TARGET_COMPANY = "example.com"
def search_darknet_forums(company_name):
"""Простой пример поиска упоминаний на форумах"""
# Список известных форумов (замени на актуальные .onion адреса)
forums = [
"http://example1.onion/search",
# Добавь реальные адреса форумов
]
results = []
for forum in forums:
try:
response = requests.get(
f"{forum}?q={company_name}",
proxies=TOR_PROXY,
timeout=30
)
if company_name.lower() in response.text.lower():
results.append({
"forum": forum,
"mentions": response.text.count(company_name)
})
print(f"[!] Найдено упоминание на {forum}")
except Exception as e:
print(f"[-] Ошибка доступа к {forum}: {e}")
continue
return results
# Полная версия с обработкой капч, аутентификацией и парсингом
# должна быть значительно сложнее
Правовой аспект: Простой доступ к DarkNet через Tor в большинстве стран легален. Нелегальны действия, которые ты там совершаешь (покупка запрещенных товаров, участие в незаконной деятельности).КРИТИЧЕСКИЕ правила безопасности для DarkNet OSINT:
- НИКОГДА не отключай JavaScript в Tor Browser для OSINT — это демаскирует тебя
- Используй выделенную ВМ — изоляция от основной системы обязательна
- Не логинься на свои обычные аккаунты через Tor
- Не скачивай файлы напрямую — только через изолированную среду
- Меняй exit nodes регулярно — не используй один и тот же путь
- Помни о honeypots — многие сайты созданы спецслужбами
8. Практический Кейс: Due Diligence Контрагента с Python и AI
А теперь самое мясо. Мы не просто говорим о теории, мы покажем, как это работает в реальном бою.Вот тебе полный боевой кейс автоматизации, который ты можешь использовать прямо сегодня.
Задача
Автоматизировать первичную проверку (Due Diligence) российской компании по ее названию и ИНН. Это критически важно для бизнеса — выбор ненадежного контрагента может стоить миллионы.Твой стек технологий
- Python 3.13+ (3.14 рекомендуется)
- requests, BeautifulSoup4 — сбор данных
- Telethon — мониторинг Telegram (опционально)
- Ollama (Llama 3.2, DeepSeek-R1) или OpenAI API (GPT-5) — AI-анализ собранных данных
- Docker — изоляция среды
Архитектура решения
Ключевой код оркестратора
Python:
# main.py - Упрощенная версия для демонстрации
import argparse
import json
from modules import company_registry, news_search
from llm_analyzer import analyze_with_llm
def run_due_diligence(company_name, inn):
"""Основной workflow для Due Diligence"""
print(f"--- НАЧАЛО ПРОВЕРКИ: {company_name} (ИНН: {inn}) ---")
all_data_texts = []
final_report = {
"company_info": {"name": company_name, "inn": inn},
"data_sources": {}
}
# ШАГ 1: Проверка по государственным реестрам
print("\n[1/3] Проверка по реестрам...")
registry_data = company_registry.check_egrul(inn)
if registry_data:
final_report["data_sources"]["registry"] = registry_data
all_data_texts.append(f"Данные реестра: {json.dumps(registry_data, ensure_ascii=False)}")
# ШАГ 2: Поиск в новостях
print("\n[2/3] Поиск упоминаний в новостях...")
news_data = news_search.find_mentions(company_name)
if news_data:
final_report["data_sources"]["news"] = news_data
all_data_texts.extend(news_data)
# ШАГ 3: AI-Синтез и генерация отчета
if not all_data_texts:
print("Недостаточно данных для анализа.")
return
print("\n--- AI-АНАЛИЗ ДАННЫХ ---")
ai_summary = analyze_with_llm(all_data_texts, company_name)
final_report["ai_summary"] = ai_summary
# Сохранение отчета
report_file = f"report_{inn}.json"
with open(report_file, 'w', encoding='utf-8') as f:
json.dump(final_report, f, ensure_ascii=False, indent=2)
print(f"\n--- ОТЧЕТ СОХРАНЕН В {report_file} ---")
print(json.dumps(ai_summary, indent=2, ensure_ascii=False))
if __name__ == "__main__":
parser = argparse.ArgumentParser(description="Due Diligence контрагента")
parser.add_argument("--company-name", required=True, help="Название компании")
parser.add_argument("--inn", required=True, help="ИНН компании")
args = parser.parse_args()
run_due_diligence(args.company_name, args.inn)
AI-анализатор (llm_analyzer.py)
Python:
import requests
import json
OLLAMA_API_URL = "http://localhost:11434/api/generate"
def analyze_with_llm(texts, company_name):
"""Синтез данных через LLM"""
full_corpus = "\n\n---\n\n".join(texts)
prompt = f"""
Ты — старший аналитик по корпоративным рискам. Проанализируй данные
о компании "{company_name}" и оцени риски работы с ней.
Данные:
---
{full_corpus[:15000]}
---
Предоставь JSON-отчет:
{{
"overall_risk": "Низкий/Средний/Высокий",
"positive_factors": ["фактор1", "фактор2"],
"red_flags": ["проблема1", "проблема2"],
"recommendation": "Рекомендация о работе с компанией",
"next_steps": ["что_проверить_дополнительно"]
}}
"""
response = requests.post(
OLLAMA_API_URL,
json={"model": "llama3.2", "prompt": prompt, "stream": False} # Обновлено
)
return json.loads(response.json().get("response", "{}"))
Docker Compose для полного стека
YAML:
version: '3.9'
services:
osint-app:
build: .
container_name: osint_due_diligence
volumes:
- .:/app
environment:
- COMPANY_NAME=${COMPANY_NAME}
- INN=${INN}
depends_on:
- ollama
command: python main.py --company-name "${COMPANY_NAME}" --inn "${INN}"
ollama:
image: ollama/ollama:latest
container_name: ollama_service
volumes:
- ./ollama_data:/root/.ollama
ports:
- "11434:11434"
# Инструкция по запуску:
# 1. docker-compose run --rm ollama ollama pull llama3.2
# 2. COMPANY_NAME="ООО Ромашка" INN="7712345678" docker-compose up
Результат работы системы
После выполнения ты получаешь структурированный JSON-отчет:
JSON:
{
"company_info": {
"name": "ООО Ромашка",
"inn": "7712345678"
},
"data_sources": {
"registry": {
"status": "Действующая",
"founded": "2018-05-12",
"capital": "10000 RUB"
},
"news": ["Новость 1", "Новость 2"]
},
"ai_summary": {
"overall_risk": "Средний",
"positive_factors": [
"Стабильная деятельность с 2018 года",
"Положительные отзывы клиентов"
],
"red_flags": [
"Низкий уставный капитал",
"Найдено упоминание о судебном споре в 2023"
],
"recommendation": "Можно работать, но с предоплатой не более 30%",
"next_steps": [
"Проверить судебные дела подробнее",
"Запросить финансовую отчетность"
]
}
}
Ценность: Такая система в корпоративной среде экономит десятки часов еженедельно и снижает риски работы с ненадежными контрагентами.
Полный рабочий код: Репозиторий на GitHub с детальной документацией и инструкциями по развертыванию.
Также см.: "Корпоративный OSINT: гайд для Red/Blue Team" — расширенные кейсы проверки компаний.
9. Итоги 2025 и Будущее OSINT: Прогнозы на 2026+
Что произошло в 2025: Реализовавшиеся тренды
К октябрю 2025 года индустрия OSINT прошла через значительные трансформации. Вот что реально изменилось:Тренд 1: OSINT-as-a-Service стал реальностью
Компании перешли от предоставления инструментов к готовым API для OSINT-запросов. Теперь ты можешь отправить запрос "дай мне все данные по этому email" и получить структурированный результат без установки софта.Что запущено в 2025:
- Maltego Cloud — полностью облачные transforms без локальной установки
- SpiderFoot Cloud (бета) — автоматизированная разведка через веб-интерфейс
- Intel 471, Recorded Future — threat intelligence as a service с API
Тренд 2: Интеграция с SOAR/SIEM набирает обороты
OSINT-данные теперь в реальном времени поступают в системы безопасности. В 2025 появились первые enterprise-решения для автоматической блокировки угроз на основе OSINT-индикаторов.Реальный workflow 2025:
- OSINT-система обнаруживает новый домен, имитирующий компанию
- Через 3 минуты собирает whois, DNS, скриншот, SSL-анализ
- Через 5 минут автоматически создается тикет в SIEM
- Через 10 минут домен блокируется на всех корпоративных firewall
Тренд 3: Проактивный OSINT — первые системы работают
Системы постоянного мониторинга появились, но пока не стали массовыми. Ранние adopter'ы получают конкурентное преимущество.Что мониторят AI-системы 24/7:
- DarkNet форумы на упоминание компании
- Новые домены с похожими названиями (typosquatting)
- Утечки учетных данных сотрудников
- Упоминания в социальных сетях с негативным сентиментом
Тренд 4: Борьба с AI-дезинформацией обострилась
2025 год запомнится серией громких deepfake-скандалов. Появились специализированные инструменты для детекции.Инструменты детекции, появившиеся в 2025:
- Sensity AI — детектор deepfake видео (точность 94%)
- GPTZero Enterprise — корпоративная версия для проверки текстов
- Originality.ai 3.0 — AI-детектор с поддержкой GPT-5, Claude Opus
Тренд 5: Регуляторное ужесточение — реализовано
30 мая 2025 года вступили в силу изменения в 152-ФЗ РФ "О персональных данных". Ответственность за незаконный OSINT значительно усилилась.Что изменилось:
- Штрафы для юрлиц увеличены до 5 млн рублей
- Введена уголовная ответственность для должностных лиц
- Требуется обязательное документирование методов сбора данных
Прогноз на 2025: Ожидается рост числа дел в 2-3 раза (финальные данные появятся в начале 2026)
Прогнозы на 2026: Что ждёт OSINT дальше
Прогноз 1: 80% задач OSINT будут автоматизированы через AI-агентов
К концу 2026 года большинство рутинных задач по сбору и первичной фильтрации данных будут выполняться AI-агентами без участия человека.Роль аналитика сместится:
- От сбора данных → к постановке гипотез
- От ручного анализа → к верификации критических находок
- От написания отчетов → к принятию стратегических решений
Прогноз 2: Появятся специализированные AI-модели для OSINT
В 2026 ожидается релиз первых LLM, обученных специально на OSINT-задачах:- Распознавание паттернов связей между субъектами
- Автоматическая генерация гипотез расследования
- Предсказание следующих шагов на основе найденных данных
Прогноз 3: Биометрическая деанонимизация станет доступной
Технологии распознавания лиц, походки, голоса достигнут уровня, когда фото из Instagram → полная идентификация личности станет тривиальной задачей.Этические дилеммы обострятся.
Прогноз 4: OSINT станет обязательным для всех специалистов по кибербезопасности
К 2026 знание OSINT-методик войдет в обязательные требования для позиций:- SOC-аналитик
- Threat Intelligence специалист
- Incident Response специалист
- Пентестер
Твоя стратегия на 2026
Если ты начинающий:- Осваивай AI-интеграцию прямо сейчас (раздел 1, 8 этой статьи)
- Изучи правовые границы досконально (раздел 2)
- Специализируйся в узкой нише (SOCMINT/WEBINT/Corporate)
- Создавай собственные AI-powered workflow
- Делись знаниями, выстраивай personal brand
- Готовься к роли "архитектора разведки"
10. OSINT Roadmap: От Новичка до Эксперта
Не знаешь, с чего начать? Вот твоя пошаговая карта обучения с конкретными материалами для каждого этапа.
УРОВЕНЬ 1: Основы (0-3 месяца)
Цель: Понять базовые концепции, освоить первые инструменты, провести первые простые расследования.Обязательные материалы:
- "Google Dorks: мощный инструмент OSINT"
Научись продвинутому поиску через Google. 15+ готовых запросов для разведки. Начни здесь! - "OSINT боты: гид для новичков"
Познакомься с 11 готовыми решениями для Telegram, VK, Discord. - Основы OSINT для безопасника (материал в разработке)
Инструменты и методы разведки для начинающих. Обзор инструментов, этапы разведки, генерация отчетов.
- Попробуй найти себя через публичные источники (self-OSINT)
- Реши 3 задачи на Codeby Games уровня Easy
- Создай досье на публичную персону (например, блогера)
- Понимание концепции OSINT и границ легальности
- Умение работать с 5-7 базовыми инструментами
- Навык составления простого отчета
УРОВЕНЬ 2: Специализация (3-6 месяцев)
Цель: Глубокое освоение выбранного направления, автоматизация простых задач.Выбери трек:
ТРЕК A: SOCMINT — Социальные Сети
Обязательные материалы:- "OSINT в Telegram 2025: правовые границы"
Легальный сбор и анализ через Telethon, TGStat API. 34 дела по ст.137 УК РФ в 2024 — знай закон! - "Sherlock Bot: мастер-класс по разведке"
Автоматизация поиска по 400+ соцсетям через Telegram-бота. - Раздел 7.1 этой статьи — код для анализа Telegram-каналов
- Создай досье на публичную персону через соцсети
- Настрой автоматический мониторинг Telegram-канала через Telethon
- Найди все профили человека по нику через Sherlock
- Владение Telethon для Telegram OSINT
- Умение работать с Instagram, VK через API/парсеры
- Навык геолокации по фотографиям (EXIF)
ТРЕК B: WEBINT — Веб-Инфраструктура
Обязательные материалы:- "SpiderFoot: полное руководство 2024"
Автоматизация разведки с 200+ модулями. Установка, настройка API, практические кейсы. - "theHarvester: сбор разведданных"
Email-адреса, субдомены из 30+ источников. - "Censys: поисковик для хакера"
Анализ SSL/TLS, поиск уязвимых устройств. - "Google Dorks" + раздел 6.5 этой статьи (troubleshooting)
- Проведи полный recon тестового домена (поддомены, email, открытые порты)
- Используй SpiderFoot для корреляции всех данных
- Найди забытый поддомен с уязвимой версией ПО через Censys
- Subdomain enumeration (Subfinder, Amass)
- Сетевая разведка (Censys, Shodan, Masscan)
- Автоматизация через SpiderFoot
- Google Dorking для поиска уязвимостей
ТРЕК C: Корпоративный OSINT
Обязательные материалы:- "Корпоративный OSINT: Red/Blue Team гайд"
Методы атаки, защиты, анализ подрядчиков, карты инфраструктуры. - Раздел 8 этой статьи — Due Diligence с AI
Полный рабочий код для автоматизации проверки контрагентов. - "Как защититься от OSINT"
Blue Team perspective, минимизация следа компании.
- Проверь контрагента по открытым данным (реестры, новости, соцсети)
- Проведи self-OSINT аудит своей компании
- Автоматизируй Due Diligence через Python + LLM (раздел 8)
- Комплексная проверка компаний
- Поиск утечек корпоративных данных
- Построение карт инфраструктуры
- Защита от OSINT-атак (Blue Team)
УРОВЕНЬ 3: Автоматизация и AI (6-12 месяцев)
Цель: Создавать собственные инструменты и workflow, интегрировать AI для анализа больших объемов данных.Обязательные навыки:
1. Python для OSINT
- Основы:
requests
,BeautifulSoup4
, регулярные выражения - API интеграции: работа с Telegram API (Telethon), Twitter API, VK API
- Примеры кода: разделы 1, 7, 8 этой статьи
2. LLM для анализа данных
- Интеграция OpenAI API / Ollama (локальные модели)
- Prompt engineering для OSINT-задач
- Автоматическая суммаризация, сентимент-анализ, генерация отчетов
3. Docker для изоляции
- Создание Docker-образов для OSINT-инструментов
- Docker Compose для мульти-контейнерных систем
- Пример: раздел 8 этой статьи (Due Diligence stack)
- Модульная архитектура (сбор, анализ, визуализация, отчеты)
- Интеграция 5+ источников данных
- AI-анализ через LLM
- Автоматические алерты
- Web-интерфейс для управления
УРОВЕНЬ 4: Экспертиза (12+ месяцев)
Цель: Стать признанным специалистом, создавать собственные методики, делиться знаниями.Продвинутые темы:
1. DarkNet OSINT
- Разведка в Tor, I2P, Freenet
- Мониторинг форумов на утечки данных
- OnionScan, анализ маркетплейсов
- Раздел 7.2 этой статьи
- Интеграция OSINT с SIEM/SOAR
- Создание IoC (Indicators of Compromise) feeds
- Проактивный мониторинг угроз
- Публикация исследований на форуме Codeby
- Участие в конференциях (PHDays, OFFZONE)
- Менторство новичков
- Курс "OSINT Offensive" в Codeby School
Продвинутое обучение от практиков. 100+ часов практики, доступ к закрытым инструментам, менторство, сертификат. - Вступи в OSINT-комьюнити на форуме Codeby
Делись находками, задавай вопросы, учись у экспертов. - Соревнуйся в CTF на HackerLab
OSINT-челленджи для практики и прокачки навыков. - Публикуй свои исследования
Напиши статью на форуме Codeby о своей находке или методике.
11. FAQ: Ответы на Популярные Вопросы
1. Какие OSINT-инструменты лучше всего в 2025 году?
Короткий ответ: Зависит от твоей специализации.Детально:
- Для SOCMINT: Sherlock, Sherlock Bot, Instaloader, Telethon, Social Analyzer
- Для WEBINT: SpiderFoot, theHarvester, Subfinder, Censys, Google Dorks
- Для автоматизации: Python + API + LLM (OpenAI/Ollama)
- Для визуализации: Maltego, Obsidian (для графов знаний)
2. Как исправить ошибку "docker run sherlock username" не работает?
Проблема: Пользователи часто используют неправильное имя образа.Решение:
Код:
# Правильная команда (официальный образ):
docker run --rm -t sherlock/sherlock-project username
# Если не работает, собери локально:
git clone https://github.com/sherlock-project/sherlock.git
cd sherlock
docker build -t sherlock .
docker run --rm -t sherlock username
3. Почему Instaloader выдаёт 403 Forbidden и как это обойти?
Причина: Instagram агрессивно блокирует автоматизированный доступ после закрытия официального API.Решение:
Код:
# Используй авторизацию через sock puppet аккаунт:
instaloader --login=your_fake_account profile_name
# Имитируй реального пользователя:
instaloader profile_name --slow --quiet
# Используй сохраненную сессию:
instaloader --load-cookies session_file profile_name
См. раздел 6.2 для детального troubleshooting Instaloader.КРИТИЧНО: Никогда не используй свой личный аккаунт!
4. Можно ли использовать AI (ChatGPT, Claude) для OSINT-анализа?
Да, и это мощный тренд 2025 года.Как использовать:
- Суммаризация больших объемов данных: Загрузи 100 новостных статей → LLM выдает краткое резюме
- Сентимент-анализ: Определение тональности упоминаний компании
- Генерация гипотез: "На основе этих данных, какие возможные связи между субъектами?"
- Автоматизация отчетов: LLM превращает сырые данные в структурированный отчет
Провокационный инсайт: Большинство коммерческих "AI OSINT tools" — это просто обертка над OpenAI API. Создав свой скрипт, ты получаешь то же самое с полным контролем и без подписки.
5. Легально ли собирать данные через OSINT в России?
Да, но с жесткими ограничениями.Легально:
- Сбор данных с открытых страниц соцсетей (если данные сделаны общедоступными самим субъектом)
- Использование поисковиков (Google, Yandex)
- Анализ публичных метаданных
- Использование утекших баз данных — ст. 137, 272 УК РФ (уголовная ответственность)
- Скрейпинг с нарушением явных запретов сервиса
- Социальная инженерия для получения данных (мошенничество)
См. раздел 2 этой статьи — детальная таблица легальности действий и правовой анализ.
Специализированный материал: "OSINT в Telegram 2025: правовые границы" — юридический разбор ст.137 УК РФ, кейсы, рекомендации.
6. Сколько времени нужно на освоение OSINT?
Реалистичные сроки:- Базовый уровень: 1-3 месяца (понимание концепций, работа с 5-7 инструментами)
- Средний уровень: 3-6 месяцев (специализация в SOCMINT/WEBINT, автоматизация простых задач)
- Продвинутый: 6-12 месяцев (создание собственных инструментов, интеграция AI)
- Экспертиза: 12+ месяцев (собственные методики, публичное признание)
- Наличие базовых навыков (Linux, Python, сети)
- Количество практики (часов в неделю)
- Специализация (SOCMINT осваивается быстрее, чем DarkNet OSINT)
12. Ресурсы для Углубленного Изучения
Мы дали тебе удочку, а не рыбу. Теперь твоя очередь. Вот тщательно отобранные ресурсы, которые помогут тебе углубить свои знания и стать настоящим мастером OSINT.Материалы на Codeby (внутри экосистемы)
Начальный уровень:- "Основы OSINT для безопасника" — старт для новичков
- "OSINT боты: гид для новичков" — 11 готовых инструментов
Специализации:
- OSINT в Telegram 2025: правовые границы
- Sherlock Bot: мастер-класс
- Корпоративный OSINT: Red/Blue Team
GitHub Репозитории
Карты инструментов:- OSINT Framework — интерактивная карта 500+ инструментов
- Awesome OSINT — курируемый список лучших инструментов
- Bellingcat's Online Investigation Toolkit — инструменты от лучших журналистов-расследователей
-
Ссылка скрыта от гостей— учебные материалы и кейсы
Курсы и Обучение
Русскоязычные:- Codeby School — OSINT Offensive
Рекомендуем
Первый в рунете продвинутый курс по наступательному OSINT. 100+ часов практики, доступ к закрытым инструментам, менторство от действующих аналитиков. От 68,900₽ (в 10 раз дешевле SANS!)
-
Ссылка скрыта от гостей(Бесплатно)
Реальная практика. Участвуй в CTF по поиску пропавших людей. Отточи навыки в боевых условиях, помогая реальным людям.
- SANS SEC487: Open-Source Intelligence (~$8,000, 6 дней)
Золотой стандарт в индустрии. Если есть возможность, это инвестиция, которая окупится.
Сообщества
Русскоязычные:- Форум Codeby — раздел OSINT
Активное сообщество, свежие кейсы, помощь новичкам, обсуждение инструментов. - OSINT Chat в Telegram
Новости и обзоры из мира OSINT и конкурентной разведки. Будь в курсе.
- OSINT Curious Project (Discord) — ~15K участников
Очень активное и полезное сообщество. Задавай вопросы, делись опытом. - r/OSINT на Reddit — ~100K подписчиков
Крупнейшее сообщество OSINT в мире. Новости, инструменты, кейсы.
Коммерческие Инструменты и Сервисы
Для профессионалов:- Maltego Classic ($999/год) — стандарт для визуализации сложных расследований
- Lampyre (от $40/мес) — мощная альтернатива Maltego с фокусом на данные из СНГ
- Bright Data (от $500/мес) — провайдер прокси для легального масштабного скрейпинга
- Ollama (бесплатно) — простейший способ запустить Llama 3, Mistral, Gemma локально на твоем компьютере
- OpenAI API (от $0.002/1K токенов) — GPT-4 для анализа данных
- Comet — революционный браузер со встроенным AI-ассистентом, который трансформирует подход к кибербезопасности. Детальное руководство по автоматизации SOC, pentest и OSINT задач через Comet поможет интегрировать AI в твой security-стек уже сегодня.
Книги
На русском:- "OSINT как образ жизни" — коллективный труд OSINT Mindset сообщества
- "Открытые источники информации" — Андрей Масалович (основы и методология)
- "Open Source Intelligence Techniques" — Michael Bazzell (библия OSINT, 9-е издание 2023)
- "OSINT Techniques: Resources for Uncovering Online Information" — Michael Bazzell
13. Следующие Шаги: Твоя Траектория в OSINT
Мир OSINT в 2025 году — это не про магию, а про сплав классических методов расследования, глубоких технических знаний и передовых AI-технологий.Успех больше не зависит от секретного списка "волшебных" инструментов. Он определяется твоей способностью выстраивать эффективные, автоматизированные и легальные процессы работы с информацией.
Что делать прямо сейчас?
Если ты новичок:- Прочитай "Основы OSINT для безопасника"
- Попробуй найти себя через Google (self-OSINT)
- Установи Sherlock и найди все свои профили
- Вступи в OSINT-раздел форума Codeby
- Выбери специализацию: SOCMINT / WEBINT / Corporate (раздел 4)
- Установи SpiderFoot и проведи recon тестового домена
- Изучи "OSINT в Telegram 2025" — легальные техники сбора
- Реши 5 задач на HackerLab
- Изучи Python для OSINT (разделы 1, 7, 8 этой статьи)
- Попробуй интегрировать Ollama для AI-анализа (раздел 1)
- Настрой Docker-окружение для изоляции (раздел 8)
- Создай свой первый автоматизированный workflow
- Запишись на курс "OSINT Offensive" в Codeby School
- Опубликуй свою первую статью на форуме Codeby
- Участвуй в
Ссылка скрыта от гостей— помоги найти пропавших людей
- Проведи корпоративный OSINT-аудит для своей компании (раздел 4.3)
Твой персональный чек-лист на первые 30 дней
- Установил виртуальную машину (VirtualBox / VMware)
- Развернул Parrot OS 6.1 Security
- Настроил Anonsurf / Tor
- Установил 5 базовых инструментов (Sherlock, theHarvester, ExifTool, SpiderFoot, Maltego Community)
- Провел self-OSINT: нашел все свои профили
- Прочитал 3+ материала из экосистемы Codeby
- Вступил в OSINT-сообщество на форуме
- Решил первую практическую задачу на Codeby Games
- Настроил Python-окружение для OSINT
- Изучил правовые границы (раздел 2 этой статьи)
Финальный совет
Начни с малого. Освой базовый стек. Построй свою лабораторию. И никогда не прекращай учиться.Информационное поле меняется каждый день, появляются новые OSINT-инструменты и методы легальной разведки. Только самые адаптивные специалисты, те, кто освоит AI-автоматизацию и останется в правовых рамках, останутся на вершине.
Твой путь в OSINT только начинается. Вперед!
Обратная связь и поддержка
Есть вопросы? Нашел ошибку? Хочешь поделиться своим кейсом?- Обсуди эту статью на форуме Codeby
- Сообщи об ошибке или предложи улучшение в комментариях
- Поделись своими результатами после прохождения roadmap
- Автор: OSINT Investigator | Codeby Contributor
- Последнее обновление: 17 октября 2025
- Версии ПО актуальны на дату публикации. Рекомендуется проверять последние релизы инструментов перед использованием.
- Лицензия: Материал предназначен исключительно для образовательных целей
Последнее редактирование: