В последнее время я много занимался Open-Source Intelligence (OSINT), поэтому, я решил обобщить множество советов и приемов, которые я выучил, в этом руководстве. Конечно, это не идеальное руководство (никакого руководства нет), но я надеюсь, что оно поможет новичкам научиться, а опытным хакерам OSINT открывать новые приемы.
Методология
Классическая методология OSINT, которую вы найдете повсюду, проста:
- Определите требования: что вы ищете?
- Получите данные
- Анализируйте собранную информацию
- Сводка и отчетность. Либо определите новые требования путем поворота только что собранных данных, либо завершите расследование и напишите отчет.
Эта методология довольно интуитивна и может не сильно помочь, но я думаю, что все еще важно регулярно возвращаться к ней и не торопиться, чтобы составить цикл. Очень часто во время расследований мы теряемся в количестве собранных данных, и трудно понять, в каком направлении следует провести расследование. В этом случае, я думаю, полезно сделать перерыв и вернуться к этапам 3 и 4: проанализируйте и суммируйте то, что вы нашли, перечислите то, что может помочь вам развить, и определите новые (или более точные) вопросы, на которые все еще нужны ответы.
Другие советы, которые я бы дал:
Никогда не сдавайтесь: будет время, когда у вас будет ощущение, что вы изучили все возможности получения информации. Не сдавайтесь. Сделайте перерыв (час или день, занимаясь чем-то другим), затем снова проанализируйте свои данные и попытайтесь увидеть их с другой точки зрения. Есть ли какая-то новая информация, которую вы могли бы использовать? Что если вы сначала задали неправильные вопросы? Джастин Зейтц недавно написал в блоге сообщение об упорстве, приводя несколько примеров, где оно окупилась.
Храните доказательства: информация исчезает онлайн очень быстро. Представьте, что вы совершаете одну ошибку opsec, например, нажимаете на «лайк» в твите, или человек, которого вы ищите, начинает вызывать подозрения, внезапно все учетные записи в социальных сетях и веб-сайты могут исчезать из одного дня в другой. Так что храните доказательства: скриншоты, архивы, веб-архивы (более подробную информацию позже) или что-нибудь еще, что работает на вас.
Сроки хорошая практика: в криминалистике, ключевым моментом является график и поворот событий, происходящих в одно и то же время. Это определенно не так важно в OSINT, но все же очень интересный инструмент для организации ваших данных. Когда был создан сайт? Когда была создана учетная запись FB? Когда было сделано последнее сообщение в блоге? Наличие всего этого в таблице часто дает мне хорошее представление о том, что я ищу.
Тогда есть два других метода, которые я считаю полезными. Первая - это блок-схемы, описывающие рабочий процесс для поиска дополнительной информации по типу данных (например, по электронной почте). Лучшее, что я видел, было сделано Майклом Баззеллом на IntelTechniques.com. Например, вот рабочий процесс Майкла Баззелла при изучении информации на адрес электронной почты:
Через некоторое время, я думаю, будет хорошей идеей начать разработку собственного рабочего процесса расследования и постепенно улучшать его с течением времени с помощью новых хитростей, которые вы найдете.
Последняя методология, которую я бы порекомендовал для длительных исследований, - это анализ конкурирующих гипотез. Эта методология была разработана ЦРУ в 70-х годах, чтобы помочь аналитику устранить предвзятость из своего анализа и тщательно оценить различные гипотезы. Помните, что это тяжелый и трудоемкий инструмент, но если вы затерялись в годичном расследовании, иногда полезно иметь процесс, который поможет вам тщательно оценить ваши гипотезы.
Подготовьте свою систему
Прежде чем приступить к расследованию, необходимо рассмотреть несколько аспектов безопасности работы, чтобы не предупреждать людей, о которых вы исследуете. Посещение непонятного личного веб-сайта может дать ваш IP-адрес и, следовательно, ваше местоположение для вашей цели, использование вашей личной учетной записи в социальной сети может привести к щелчку на лайке по ошибке. и т.п. Я следую следующим правилам при проведении своих расследований:
- Используйте коммерческий VPN или Tor для всех подключений из вашего браузера. Большинство коммерческих VPN предоставляют серверы в разных странах, и Tor позволяет вам выбрать страну выходного узла, поэтому я пытаюсь выбрать страну, которая не будет поднимать флаг в этом контексте (США для расследования организации США и т. д.).
- Выполняйте все операции сканирования и сканирования с дешевого VPS, который не имеет с вами связи.
- Используйте аккаунты в социальных сетях, посвященные расследованию и созданные под вымышленным именем.
Сделав все это, вы теперь можете исследовать так поздно, как захотите, и маловероятно, что люди смогут определить, кто их ищет.
Инструменты
Вопрос об инструментах всегда интересен в infosec, меня ничто не беспокоит больше, чем люди, перечисляющие бесконечный список инструментов в своем резюме, а не навыки, которыми они обладают. Итак, позвольте мне сказать : инструменты не имеют значения, важно то, что вы делаете с инструментами. Если вы не знаете, что делаете, инструменты вам не помогут, они просто предоставят вам длинный список данных, которые вы не сможете понять или оценить. Тестируйте инструменты, читайте их код, создавайте свои собственные инструменты и т. д., Но убедитесь, что вы понимаете, что они делают.
Следствием этого является то, что не существует идеального инструментария. Лучший инструментарий - тот, который вы знаете, любите и осваиваете. Но позвольте мне рассказать вам, что я использую и какие другие инструменты могут вас заинтересовать.
Chrome и плагины
Я использую Chrome в качестве браузера для расследования, главным образом потому, что Hunchly доступен только для Chrome (см. Далее). Я добавляю к нему несколько полезных плагинов:
archive.is Button позволяет быстро сохранить веб-страницу в archive.is (подробнее об этом позже)
Wayback Machine для поиска заархивированной страницы в archive.org Wayback Machine
OpenSource Intelligence предоставляет быстрый доступ ко многим инструментам OSINT
EXIF Viewer позволяет быстро просматривать данные EXIF в изображениях
FireShot быстро сделать скриншот
Hunchly
Я недавно начал использовать Hunchly, и это отличный инструмент. Hunchly - это расширение для Chrome, которое позволяет сохранять, маркировать и искать все веб-данные, найденные вами в ходе расследования. По сути, вам просто нужно нажать «Захват» в расширении, когда вы начинаете расследование, и Hunchly сохранит все веб-страницы, которые вы посещаете, в базе данных, что позволит вам добавлять к ним заметки и теги.
Это стоит 130 долларов США в год, что не так много, если учесть, насколько это полезно.
Maltego
Maltego - это скорее инструмент для анализа угроз, чем инструмент OSINT, и он имеет много ограничений, но график часто является лучшим способом для представления и анализа данных расследования, и Maltego хорош для этого.По сути, Maltego предлагает графический интерфейс для представления графиков и преобразования для поиска новых данных в графике (например, домены, связанные с IP-адресом из базы данных Passive DNS). Это немного дороже (999 долл. США в год в первый год, затем 499 долл. США в год на обновление) и может стоить того, только если вы также проводите анализ угроз или проводите большой анализ инфраструктуры. Вы также можете использовать Maltego Community Edition, которая ограничивает использование преобразования и размер графика, но этого должно быть достаточно для небольших исследований.
Harpoon
Я разработал инструмент командной строки под названием Harpoon. Он начинался как инструмент анализа угроз, но я добавил много команд для OSINT. Он работает с python3 в Linux (но MacOS и Windows тоже должны работать) и с открытым исходным кодом.
Например, вы можете использовать Harpoon для поиска ключа PGP на ключевых серверах:
$ harpoon pgp search tek@randhome.io
[+] 0xDCB55433A1EA7CAB 2016-05-30 Tek__ tek@randhome.io
Существует длинный список плагинов, не стесняйтесь предлагать или разрабатывать больше или создавать проблемы для новых интересных функций.
Python
Очень часто вы сталкиваетесь с конкретными задачами по сбору данных и визуализации, которые не могут быть легко выполнены с помощью любого инструмента. В этом случае вам придется написать свой собственный код. Для этого я использую python, любой современный язык программирования будет работать одинаково, но мне нравится гибкость python и огромное количество доступных библиотек.
Джастин Зейтц (автор Hunchly) - справочник по питону и OSINT, и вам обязательно стоит взглянуть на его блог «Автоматизация OSINT» и его книгу «Black Hat Python».
Вам также может понравиться
Конечно, есть много других инструментов для OSINT, но я считаю, что они менее полезны в моей повседневной работе. Вот некоторые инструменты, которые вы, возможно, захотите еще проверить, они интересны и хорошо сделаны, но не совсем вписываются в мои привычки:
SpiderFoot - это инструмент разведки, который собирает информацию с помощью множества различных модулей. Он имеет приятный веб-интерфейс и генерирует графики, показывающие связи между различными типами данных. Что мне не нравится в этом, так это то, что он считается волшебным инструментом, который находит все для вас, но ни один инструмент никогда не заменит вас, чтобы узнать, что вы ищете, и проанализировать результаты. Да, вам придется самостоятельно провести исследование и прочитать результаты один за другим, и SpiderFoot не сильно поможет в этом. Хорошая работа и хороший интерфейс.
recon-ng - это хороший инструмент CLI для запроса различных платформ, социальных сетей или платформ анализа угроз. Это довольно близко к тому, что делает Harpoon на самом деле. Я не использую его, потому что я уже использую Harpoon, который соответствует моим потребностям, и мне не очень нравится интерфейс оболочки, который он предлагает.
Buscador - это виртуальная машина Linux, в которую встроено множество различных инструментов OSINT.Я всегда предпочитаю иметь свои собственные системы, но это хороший способ опробовать новые инструменты без необходимости устанавливать их один за другим.
Давайте теперь перейдем к реальной теме: что может помочь вам в расследованиях OSINT?
Техническая инфраструктура
Анализ технической инфраструктуры находится на перекрестке между анализом угроз и анализом с открытым исходным кодом, но в определенном контексте это определенно важная часть расследований.
Вот что вы должны искать:
IP и домены: для этого есть много разных инструментов, но я считаю, что Passive Total (теперь называется RiskIQ) является одним из лучших источников информации. Бесплатный доступ дает вам 15 запросов в день через веб-интерфейс и 15 через API. Я полагаюсь в основном на это, но Robtex, HackerTarget и Security Trails - другие хорошие варианты.
Сертификаты: Censys - отличный инструмент, но менее известный и менее интересный crt.sh - также очень хорошая база данных прозрачности сертификатов
Сканирование: часто полезно знать, какие сервисы работают на IP, вы можете выполнить сканирование самостоятельно с помощью nmap, но вы также можете положиться на платформы, выполняющие регулярное сканирование всех адресов IPv4. Две основные платформы - Censys и Shodan, обе они сосредоточены на разных аспектах (больше IoT для Shodan, больше TLS для Censys), поэтому полезно знать и использовать их обе. BinaryEdge - довольно новая альтернатива для них, но она быстро развивается. Совсем недавно была запущена аналогичная китайская платформа под названием Fofa. Другим источником информации является Rapid7 Open Data, но вам придется скачивать файлы сканирования и проводить исследования самостоятельно. Наконец, я нахожу, что историческая информация об IP-адресах является золотой жилой для понимания эволюции платформы, Censys предоставляет эти данные только через платные планы (бесплатно для академических исследователей), но Shodan предоставляет их напрямую через IP, что здорово! Проверьте команду harpoon shodan ip -H IP, чтобы увидеть, что он дает (вы должны будете заплатить за lifetime аккаунт Shodan).
Информация об угрозе: даже если это не обязательно в OSINT, всегда интересно проверить наличие вредоносных действий в домене, IP-адресе или URL-адресе. Для этого я в основном полагаюсь на Passive Total OSINT и проекты, а также на AlienVault OTX
Субдомены: существует множество различных способов найти список поддоменов для домена, от поиска Google (site: DOMAIN) до поиска в сертификатах в альтернативных доменах. PassiveTotal и BinaryEdge реализуют эту функцию напрямую, поэтому вы можете запросить их, чтобы получить первый список.
Аналитика Google и социальные сети: последняя информация, которая действительно интересна, - это проверить, используется ли один и тот же идентификатор Google Analytics / Adsense на нескольких веб-сайтах. Этот метод был открыт в 2015 году и хорошо описан здесь компанией Bellingcat. Чтобы искать эти соединения, я в основном использую Passive Total, SpyOnWeb и NerdyData (publicwww - еще одна non-free альтернатива).
Поисковые системы
В зависимости от контекста, вы можете захотеть использовать другую поисковую систему во время расследования. Я в основном полагаюсь на Google и Bing (для Европы или Северной Америки), Baidu (для Азии) и Яндекс (для России и Восточной Европы).
Конечно, первый инструмент исследования - операторы поиска. Вы найдете полный список этих операторов для Google
Вы можете использовать следующие логические операторы для объединения запросов: AND, OR, + и -
filetype: позволяет искать конкретные расширения файлов
site: будет фильтровать на конкретном сайте
intitle: и inurl: будут фильтровать заголовок или URL
link: найти веб-страницы, имеющие ссылку на определенный URL (устарел в 2017 году, но все еще частично работает)
Несколько примеров:
NAME + CV + filetype
df может помочь вам найти кого-то резюме
DOMAIN - site: DOMAIN может помочь вам найти поддомен веб-сайта
SENTENCE - site: ORIGINDOMAIN может помочь вам найти сайт, который плагиат или скопировал статью
Картинки
Для изображений есть две вещи, которые вы хотите знать: как найти дополнительную информацию об изображении и как найти похожие изображения.
Чтобы найти дополнительную информацию, первым делом нужно посмотреть данные exif. Exif-данные - это данные, внедренные в изображение при создании изображения, и они часто содержат интересную информацию о дате создания, используемой камере, иногда GPS-данных и т. Д. Чтобы проверить это, мне нравится использовать командную строку ExifTool, но расширение Exif Viewer ( для Chrome и Firefox) тоже очень удобно. Кроме того, вы можете использовать этот удивительный веб-сайт Photo Forensic, который имеет много интересных функций. (Другие альтернативы - exif.regex.info и Foto Forensics).
Чтобы найти похожие изображения, вы можете использовать Google Images, Bing Images, Yandex Images или TinyEye. TinyEye имеет полезный API/ а Bing имеет очень полезную функцию, позволяющую вам искать определенную часть изображения. Чтобы получить лучшие результаты, может быть полезно удалить фон изображения, интересным инструментом для этого является remove.bg.
Нет простого способа проанализировать содержание изображения и, например, найти его местоположение. Вам нужно будет найти на изображении определенные предметы, которые позволят вам угадать, в какой стране это может быть, а затем провести онлайн-исследование и сравнить его со спутниковыми изображениями. Я бы посоветовал прочитать несколько хороших исследований Bellingcat, чтобы узнать больше об этом, например, это или это. Дополнительные чтения:
Социальные сети
Для социальной сети доступно множество инструментов, но они сильно зависят от платформы. Вот краткая выдержка из интересных инструментов и приемов:
Twitter: API дает вам точное время создания и инструмент, используемый для публикации твитов. x0rz ’tweets_analyzer - отличный способ получить обзор активности учетной записи. Есть способы найти идентификатор Twitter из адреса электронной почты, но они немного сложнее.
Facebook: лучший ресурс для расследования в Facebook - это сайт Майкла Баззелла, особенно страница его пользовательского инструмента FB
LinkedIn: самый полезный трюк, который я нашел в LinkedIn, это как найти профиль LinkedIn на основе адреса электронной почты.
Платформы кеша
Существует несколько платформ для кеширования веб-сайтов, которые могут стать отличным источником информации во время расследования либо потому, что веб-сайт не работает, либо для анализа исторического развития веб-сайта. Эти платформы либо автоматически кэшируют сайты, либо кэшируют сайт по требованию.
Поисковые системы: большинство поисковых систем кэшируют контент сайтов при их сканировании. Это действительно полезно, и многие веб-сайты доступны таким образом, но имейте в виду, что вы не можете контролировать, когда он был кэширован последним (очень часто менее недели назад), и, скорее всего, он скоро будет удален, поэтому, если вы найдете там что-нибудь интересное, подумайте о сохранении кэшированной страницы быстро. Я использую следующие кэши поисковых систем в своих исследованиях: Google, Yandex и Bing.
Интернет-архив: Интернет-архив - это отличный проект, целью которого является сохранение всего, что опубликовано в Интернете, включая автоматическое сканирование веб-страниц и сохранение их эволюции в огромную базу данных. Они предлагают веб-портал под названием Internet Archive Wayback Machine, который является удивительным ресурсом для анализа эволюции веб-сайта. Важно знать, что интернет-архив удаляет контент по требованию (они сделали это, например, для компании Stalkerware Flexispy), поэтому вы должны сохранять контент, который нужно архивировать где-то еще.
Другие платформы ручного кеширования: Мне очень нравится archive.today, который позволяет сохранять снимки веб-страниц и искать снимки, сделанные другими людьми. Я в основном полагаюсь на это в своих исследованиях. perma.cc хорош, но предлагает только 10 ссылок в месяц для бесплатных аккаунтов, платформа в основном предназначена для библиотек и университетов. Их код с открытым исходным кодом, поэтому, если бы мне пришлось разместить свою собственную платформу кеширования, я бы определенно подумал об использовании этого программного обеспечения.
Иногда раздражает необходимость вручную запрашивать все эти платформы, чтобы проверить, кэширована ли веб-страница или нет.Я реализовал простую команду в Harpoon, чтобы сделать это:
Сбор доказательств
Что подводит нас к следующему пункту: сбор доказательств. Сбор доказательств является ключевой частью любого расследования, особенно если оно может быть долгим. Вы определенно будете потеряны в количестве данных, которые вы нашли несколько раз, веб-страницы изменятся, учетные записи Twitter исчезнут и т.д.
Что нужно иметь в виду:
- Вы не можете полагаться на Интернет-архив, использовать другие платформы кеша и, если возможно, локальные копии.
- Сохраняйте изображения, документы и т. Д.
- Делать скриншоты
- Сохраняйте данные о социальных сетях, их можно удалить в любое время. (Для учетных записей Twitter у Harpoon есть команда для сохранения твитов и пользовательской информации в файле JSON)
Укороченные URL
Сокращатели URl могут предоставить очень интересную информацию при использовании, вот краткая информация о том, как найти статистическую информацию для разных поставщиков:
bit.ly: добавьте + в конце URL, например,
goo.gl: (вскоре устарел), добавьте + в тендере, который перенаправляет вас на URL-адрес, такой как
ow.ly - сокращение URL Hootsuite, но вы не можете видеть статистику
tinyurl.com не показывает статистику, но вы можете увидеть URL с
С tiny.cc вы можете увидеть статистику, добавив ~, например
С помощью bit.do вы можете добавить - в конце, например,
adf.ly предлагает зарабатывать деньги, показывая рекламу при перенаправлении на ссылку. Они используют много других поддоменов, таких как j.gs или q.gs, и не показывают общедоступную статистику.
tickurl.com: доступ к статистике с помощью +, как
Некоторые средства сокращения URL используют инкрементные идентификаторы, в этом случае их можно перечислить, чтобы найти похожие URL, созданные в одно и то же время. Проверьте этот хороший
Информация о компании
Несколько баз данных доступны для поиска информации о компании. Основная из них - открытая база данных и база данных OCCRP об утечках и публичных записях. Тогда вам придется полагаться на базы данных по каждой стране, во Франции societe.com - хорошая, в США вы должны проверить EDGAR, а в Великобритании - Company House
Методология
Классическая методология OSINT, которую вы найдете повсюду, проста:
- Определите требования: что вы ищете?
- Получите данные
- Анализируйте собранную информацию
- Сводка и отчетность. Либо определите новые требования путем поворота только что собранных данных, либо завершите расследование и напишите отчет.
Эта методология довольно интуитивна и может не сильно помочь, но я думаю, что все еще важно регулярно возвращаться к ней и не торопиться, чтобы составить цикл. Очень часто во время расследований мы теряемся в количестве собранных данных, и трудно понять, в каком направлении следует провести расследование. В этом случае, я думаю, полезно сделать перерыв и вернуться к этапам 3 и 4: проанализируйте и суммируйте то, что вы нашли, перечислите то, что может помочь вам развить, и определите новые (или более точные) вопросы, на которые все еще нужны ответы.
Другие советы, которые я бы дал:
Никогда не сдавайтесь: будет время, когда у вас будет ощущение, что вы изучили все возможности получения информации. Не сдавайтесь. Сделайте перерыв (час или день, занимаясь чем-то другим), затем снова проанализируйте свои данные и попытайтесь увидеть их с другой точки зрения. Есть ли какая-то новая информация, которую вы могли бы использовать? Что если вы сначала задали неправильные вопросы? Джастин Зейтц недавно написал в блоге сообщение об упорстве, приводя несколько примеров, где оно окупилась.
Храните доказательства: информация исчезает онлайн очень быстро. Представьте, что вы совершаете одну ошибку opsec, например, нажимаете на «лайк» в твите, или человек, которого вы ищите, начинает вызывать подозрения, внезапно все учетные записи в социальных сетях и веб-сайты могут исчезать из одного дня в другой. Так что храните доказательства: скриншоты, архивы, веб-архивы (более подробную информацию позже) или что-нибудь еще, что работает на вас.
Сроки хорошая практика: в криминалистике, ключевым моментом является график и поворот событий, происходящих в одно и то же время. Это определенно не так важно в OSINT, но все же очень интересный инструмент для организации ваших данных. Когда был создан сайт? Когда была создана учетная запись FB? Когда было сделано последнее сообщение в блоге? Наличие всего этого в таблице часто дает мне хорошее представление о том, что я ищу.
Тогда есть два других метода, которые я считаю полезными. Первая - это блок-схемы, описывающие рабочий процесс для поиска дополнительной информации по типу данных (например, по электронной почте). Лучшее, что я видел, было сделано Майклом Баззеллом на IntelTechniques.com. Например, вот рабочий процесс Майкла Баззелла при изучении информации на адрес электронной почты:
Через некоторое время, я думаю, будет хорошей идеей начать разработку собственного рабочего процесса расследования и постепенно улучшать его с течением времени с помощью новых хитростей, которые вы найдете.
Последняя методология, которую я бы порекомендовал для длительных исследований, - это анализ конкурирующих гипотез. Эта методология была разработана ЦРУ в 70-х годах, чтобы помочь аналитику устранить предвзятость из своего анализа и тщательно оценить различные гипотезы. Помните, что это тяжелый и трудоемкий инструмент, но если вы затерялись в годичном расследовании, иногда полезно иметь процесс, который поможет вам тщательно оценить ваши гипотезы.
Подготовьте свою систему
Прежде чем приступить к расследованию, необходимо рассмотреть несколько аспектов безопасности работы, чтобы не предупреждать людей, о которых вы исследуете. Посещение непонятного личного веб-сайта может дать ваш IP-адрес и, следовательно, ваше местоположение для вашей цели, использование вашей личной учетной записи в социальной сети может привести к щелчку на лайке по ошибке. и т.п. Я следую следующим правилам при проведении своих расследований:
- Используйте коммерческий VPN или Tor для всех подключений из вашего браузера. Большинство коммерческих VPN предоставляют серверы в разных странах, и Tor позволяет вам выбрать страну выходного узла, поэтому я пытаюсь выбрать страну, которая не будет поднимать флаг в этом контексте (США для расследования организации США и т. д.).
- Выполняйте все операции сканирования и сканирования с дешевого VPS, который не имеет с вами связи.
- Используйте аккаунты в социальных сетях, посвященные расследованию и созданные под вымышленным именем.
Сделав все это, вы теперь можете исследовать так поздно, как захотите, и маловероятно, что люди смогут определить, кто их ищет.
Инструменты
Вопрос об инструментах всегда интересен в infosec, меня ничто не беспокоит больше, чем люди, перечисляющие бесконечный список инструментов в своем резюме, а не навыки, которыми они обладают. Итак, позвольте мне сказать : инструменты не имеют значения, важно то, что вы делаете с инструментами. Если вы не знаете, что делаете, инструменты вам не помогут, они просто предоставят вам длинный список данных, которые вы не сможете понять или оценить. Тестируйте инструменты, читайте их код, создавайте свои собственные инструменты и т. д., Но убедитесь, что вы понимаете, что они делают.
Следствием этого является то, что не существует идеального инструментария. Лучший инструментарий - тот, который вы знаете, любите и осваиваете. Но позвольте мне рассказать вам, что я использую и какие другие инструменты могут вас заинтересовать.
Chrome и плагины
Я использую Chrome в качестве браузера для расследования, главным образом потому, что Hunchly доступен только для Chrome (см. Далее). Я добавляю к нему несколько полезных плагинов:
archive.is Button позволяет быстро сохранить веб-страницу в archive.is (подробнее об этом позже)
Wayback Machine для поиска заархивированной страницы в archive.org Wayback Machine
OpenSource Intelligence предоставляет быстрый доступ ко многим инструментам OSINT
EXIF Viewer позволяет быстро просматривать данные EXIF в изображениях
FireShot быстро сделать скриншот
Hunchly
Я недавно начал использовать Hunchly, и это отличный инструмент. Hunchly - это расширение для Chrome, которое позволяет сохранять, маркировать и искать все веб-данные, найденные вами в ходе расследования. По сути, вам просто нужно нажать «Захват» в расширении, когда вы начинаете расследование, и Hunchly сохранит все веб-страницы, которые вы посещаете, в базе данных, что позволит вам добавлять к ним заметки и теги.
Это стоит 130 долларов США в год, что не так много, если учесть, насколько это полезно.
Maltego
Maltego - это скорее инструмент для анализа угроз, чем инструмент OSINT, и он имеет много ограничений, но график часто является лучшим способом для представления и анализа данных расследования, и Maltego хорош для этого.По сути, Maltego предлагает графический интерфейс для представления графиков и преобразования для поиска новых данных в графике (например, домены, связанные с IP-адресом из базы данных Passive DNS). Это немного дороже (999 долл. США в год в первый год, затем 499 долл. США в год на обновление) и может стоить того, только если вы также проводите анализ угроз или проводите большой анализ инфраструктуры. Вы также можете использовать Maltego Community Edition, которая ограничивает использование преобразования и размер графика, но этого должно быть достаточно для небольших исследований.
Harpoon
Я разработал инструмент командной строки под названием Harpoon. Он начинался как инструмент анализа угроз, но я добавил много команд для OSINT. Он работает с python3 в Linux (но MacOS и Windows тоже должны работать) и с открытым исходным кодом.
Например, вы можете использовать Harpoon для поиска ключа PGP на ключевых серверах:
$ harpoon pgp search tek@randhome.io
[+] 0xDCB55433A1EA7CAB 2016-05-30 Tek__ tek@randhome.io
Существует длинный список плагинов, не стесняйтесь предлагать или разрабатывать больше или создавать проблемы для новых интересных функций.
Python
Очень часто вы сталкиваетесь с конкретными задачами по сбору данных и визуализации, которые не могут быть легко выполнены с помощью любого инструмента. В этом случае вам придется написать свой собственный код. Для этого я использую python, любой современный язык программирования будет работать одинаково, но мне нравится гибкость python и огромное количество доступных библиотек.
Джастин Зейтц (автор Hunchly) - справочник по питону и OSINT, и вам обязательно стоит взглянуть на его блог «Автоматизация OSINT» и его книгу «Black Hat Python».
Вам также может понравиться
Конечно, есть много других инструментов для OSINT, но я считаю, что они менее полезны в моей повседневной работе. Вот некоторые инструменты, которые вы, возможно, захотите еще проверить, они интересны и хорошо сделаны, но не совсем вписываются в мои привычки:
SpiderFoot - это инструмент разведки, который собирает информацию с помощью множества различных модулей. Он имеет приятный веб-интерфейс и генерирует графики, показывающие связи между различными типами данных. Что мне не нравится в этом, так это то, что он считается волшебным инструментом, который находит все для вас, но ни один инструмент никогда не заменит вас, чтобы узнать, что вы ищете, и проанализировать результаты. Да, вам придется самостоятельно провести исследование и прочитать результаты один за другим, и SpiderFoot не сильно поможет в этом. Хорошая работа и хороший интерфейс.
recon-ng - это хороший инструмент CLI для запроса различных платформ, социальных сетей или платформ анализа угроз. Это довольно близко к тому, что делает Harpoon на самом деле. Я не использую его, потому что я уже использую Harpoon, который соответствует моим потребностям, и мне не очень нравится интерфейс оболочки, который он предлагает.
Buscador - это виртуальная машина Linux, в которую встроено множество различных инструментов OSINT.Я всегда предпочитаю иметь свои собственные системы, но это хороший способ опробовать новые инструменты без необходимости устанавливать их один за другим.
Давайте теперь перейдем к реальной теме: что может помочь вам в расследованиях OSINT?
Техническая инфраструктура
Анализ технической инфраструктуры находится на перекрестке между анализом угроз и анализом с открытым исходным кодом, но в определенном контексте это определенно важная часть расследований.
Вот что вы должны искать:
IP и домены: для этого есть много разных инструментов, но я считаю, что Passive Total (теперь называется RiskIQ) является одним из лучших источников информации. Бесплатный доступ дает вам 15 запросов в день через веб-интерфейс и 15 через API. Я полагаюсь в основном на это, но Robtex, HackerTarget и Security Trails - другие хорошие варианты.
Сертификаты: Censys - отличный инструмент, но менее известный и менее интересный crt.sh - также очень хорошая база данных прозрачности сертификатов
Сканирование: часто полезно знать, какие сервисы работают на IP, вы можете выполнить сканирование самостоятельно с помощью nmap, но вы также можете положиться на платформы, выполняющие регулярное сканирование всех адресов IPv4. Две основные платформы - Censys и Shodan, обе они сосредоточены на разных аспектах (больше IoT для Shodan, больше TLS для Censys), поэтому полезно знать и использовать их обе. BinaryEdge - довольно новая альтернатива для них, но она быстро развивается. Совсем недавно была запущена аналогичная китайская платформа под названием Fofa. Другим источником информации является Rapid7 Open Data, но вам придется скачивать файлы сканирования и проводить исследования самостоятельно. Наконец, я нахожу, что историческая информация об IP-адресах является золотой жилой для понимания эволюции платформы, Censys предоставляет эти данные только через платные планы (бесплатно для академических исследователей), но Shodan предоставляет их напрямую через IP, что здорово! Проверьте команду harpoon shodan ip -H IP, чтобы увидеть, что он дает (вы должны будете заплатить за lifetime аккаунт Shodan).
Информация об угрозе: даже если это не обязательно в OSINT, всегда интересно проверить наличие вредоносных действий в домене, IP-адресе или URL-адресе. Для этого я в основном полагаюсь на Passive Total OSINT и проекты, а также на AlienVault OTX
Субдомены: существует множество различных способов найти список поддоменов для домена, от поиска Google (site: DOMAIN) до поиска в сертификатах в альтернативных доменах. PassiveTotal и BinaryEdge реализуют эту функцию напрямую, поэтому вы можете запросить их, чтобы получить первый список.
Аналитика Google и социальные сети: последняя информация, которая действительно интересна, - это проверить, используется ли один и тот же идентификатор Google Analytics / Adsense на нескольких веб-сайтах. Этот метод был открыт в 2015 году и хорошо описан здесь компанией Bellingcat. Чтобы искать эти соединения, я в основном использую Passive Total, SpyOnWeb и NerdyData (publicwww - еще одна non-free альтернатива).
Поисковые системы
В зависимости от контекста, вы можете захотеть использовать другую поисковую систему во время расследования. Я в основном полагаюсь на Google и Bing (для Европы или Северной Америки), Baidu (для Азии) и Яндекс (для России и Восточной Европы).
Конечно, первый инструмент исследования - операторы поиска. Вы найдете полный список этих операторов для Google
Ссылка скрыта от гостей
, вот выдержка из наиболее интересных:Вы можете использовать следующие логические операторы для объединения запросов: AND, OR, + и -
filetype: позволяет искать конкретные расширения файлов
site: будет фильтровать на конкретном сайте
intitle: и inurl: будут фильтровать заголовок или URL
link: найти веб-страницы, имеющие ссылку на определенный URL (устарел в 2017 году, но все еще частично работает)
Несколько примеров:
NAME + CV + filetype
df может помочь вам найти кого-то резюмеDOMAIN - site: DOMAIN может помочь вам найти поддомен веб-сайта
SENTENCE - site: ORIGINDOMAIN может помочь вам найти сайт, который плагиат или скопировал статью
Картинки
Для изображений есть две вещи, которые вы хотите знать: как найти дополнительную информацию об изображении и как найти похожие изображения.
Чтобы найти дополнительную информацию, первым делом нужно посмотреть данные exif. Exif-данные - это данные, внедренные в изображение при создании изображения, и они часто содержат интересную информацию о дате создания, используемой камере, иногда GPS-данных и т. Д. Чтобы проверить это, мне нравится использовать командную строку ExifTool, но расширение Exif Viewer ( для Chrome и Firefox) тоже очень удобно. Кроме того, вы можете использовать этот удивительный веб-сайт Photo Forensic, который имеет много интересных функций. (Другие альтернативы - exif.regex.info и Foto Forensics).
Чтобы найти похожие изображения, вы можете использовать Google Images, Bing Images, Yandex Images или TinyEye. TinyEye имеет полезный API/ а Bing имеет очень полезную функцию, позволяющую вам искать определенную часть изображения. Чтобы получить лучшие результаты, может быть полезно удалить фон изображения, интересным инструментом для этого является remove.bg.
Нет простого способа проанализировать содержание изображения и, например, найти его местоположение. Вам нужно будет найти на изображении определенные предметы, которые позволят вам угадать, в какой стране это может быть, а затем провести онлайн-исследование и сравнить его со спутниковыми изображениями. Я бы посоветовал прочитать несколько хороших исследований Bellingcat, чтобы узнать больше об этом, например, это или это. Дополнительные чтения:
Социальные сети
Для социальной сети доступно множество инструментов, но они сильно зависят от платформы. Вот краткая выдержка из интересных инструментов и приемов:
Twitter: API дает вам точное время создания и инструмент, используемый для публикации твитов. x0rz ’tweets_analyzer - отличный способ получить обзор активности учетной записи. Есть способы найти идентификатор Twitter из адреса электронной почты, но они немного сложнее.
Facebook: лучший ресурс для расследования в Facebook - это сайт Майкла Баззелла, особенно страница его пользовательского инструмента FB
LinkedIn: самый полезный трюк, который я нашел в LinkedIn, это как найти профиль LinkedIn на основе адреса электронной почты.
Платформы кеша
Существует несколько платформ для кеширования веб-сайтов, которые могут стать отличным источником информации во время расследования либо потому, что веб-сайт не работает, либо для анализа исторического развития веб-сайта. Эти платформы либо автоматически кэшируют сайты, либо кэшируют сайт по требованию.
Поисковые системы: большинство поисковых систем кэшируют контент сайтов при их сканировании. Это действительно полезно, и многие веб-сайты доступны таким образом, но имейте в виду, что вы не можете контролировать, когда он был кэширован последним (очень часто менее недели назад), и, скорее всего, он скоро будет удален, поэтому, если вы найдете там что-нибудь интересное, подумайте о сохранении кэшированной страницы быстро. Я использую следующие кэши поисковых систем в своих исследованиях: Google, Yandex и Bing.
Интернет-архив: Интернет-архив - это отличный проект, целью которого является сохранение всего, что опубликовано в Интернете, включая автоматическое сканирование веб-страниц и сохранение их эволюции в огромную базу данных. Они предлагают веб-портал под названием Internet Archive Wayback Machine, который является удивительным ресурсом для анализа эволюции веб-сайта. Важно знать, что интернет-архив удаляет контент по требованию (они сделали это, например, для компании Stalkerware Flexispy), поэтому вы должны сохранять контент, который нужно архивировать где-то еще.
Другие платформы ручного кеширования: Мне очень нравится archive.today, который позволяет сохранять снимки веб-страниц и искать снимки, сделанные другими людьми. Я в основном полагаюсь на это в своих исследованиях. perma.cc хорош, но предлагает только 10 ссылок в месяц для бесплатных аккаунтов, платформа в основном предназначена для библиотек и университетов. Их код с открытым исходным кодом, поэтому, если бы мне пришлось разместить свою собственную платформу кеширования, я бы определенно подумал об использовании этого программного обеспечения.
Иногда раздражает необходимость вручную запрашивать все эти платформы, чтобы проверить, кэширована ли веб-страница или нет.Я реализовал простую команду в Harpoon, чтобы сделать это:
Код:
$ harpoon cache https://citizenlab.ca/2016/11/parliament-keyboy/
Google: FOUND https://webcache.googleusercontent.com/search?q=cache%3Ahttps%3A%2F%2Fcitizenlab.ca%2F2016%2F11%2Fparliament-keyboy%2F&num=1&strip=0&vwsrc=1
Yandex: NOT FOUND
Archive.is: TIME OUT
Archive.org: FOUND
-2018-12-02 14:07:26: http://web.archive.org/web/20181202140726/https://citizenlab.ca/2016/11/parliament-keyboy/
Bing: NOT FOUNDСбор доказательств
Что подводит нас к следующему пункту: сбор доказательств. Сбор доказательств является ключевой частью любого расследования, особенно если оно может быть долгим. Вы определенно будете потеряны в количестве данных, которые вы нашли несколько раз, веб-страницы изменятся, учетные записи Twitter исчезнут и т.д.
Что нужно иметь в виду:
- Вы не можете полагаться на Интернет-архив, использовать другие платформы кеша и, если возможно, локальные копии.
- Сохраняйте изображения, документы и т. Д.
- Делать скриншоты
- Сохраняйте данные о социальных сетях, их можно удалить в любое время. (Для учетных записей Twitter у Harpoon есть команда для сохранения твитов и пользовательской информации в файле JSON)
Укороченные URL
Сокращатели URl могут предоставить очень интересную информацию при использовании, вот краткая информация о том, как найти статистическую информацию для разных поставщиков:
bit.ly: добавьте + в конце URL, например,
Ссылка скрыта от гостей
goo.gl: (вскоре устарел), добавьте + в тендере, который перенаправляет вас на URL-адрес, такой как
Ссылка скрыта от гостей
HERE] / all_timeow.ly - сокращение URL Hootsuite, но вы не можете видеть статистику
tinyurl.com не показывает статистику, но вы можете увидеть URL с
Ссылка скрыта от гостей
С tiny.cc вы можете увидеть статистику, добавив ~, например
Ссылка скрыта от гостей
С помощью bit.do вы можете добавить - в конце, например,
Ссылка скрыта от гостей
(статистика может быть приватной)adf.ly предлагает зарабатывать деньги, показывая рекламу при перенаправлении на ссылку. Они используют много других поддоменов, таких как j.gs или q.gs, и не показывают общедоступную статистику.
tickurl.com: доступ к статистике с помощью +, как
Ссылка скрыта от гостей
Некоторые средства сокращения URL используют инкрементные идентификаторы, в этом случае их можно перечислить, чтобы найти похожие URL, созданные в одно и то же время. Проверьте этот хороший
Ссылка скрыта от гостей
, чтобы увидеть пример этой идеи.Информация о компании
Несколько баз данных доступны для поиска информации о компании. Основная из них - открытая база данных и база данных OCCRP об утечках и публичных записях. Тогда вам придется полагаться на базы данных по каждой стране, во Франции societe.com - хорошая, в США вы должны проверить EDGAR, а в Великобритании - Company House
Ссылка скрыта от гостей
