РАЗБОР Статья

Тестирование правил SIEM через Atomic Red Team

Сергей Попов
Сергей Попов Red Team · 6,8 тыс. сообщений
Подписаться
1,5 тыс.
[ обложка статьи ]
Режим чтения
Рабочий стол аналитика в мягком дневном свете: монитор с тепловой картой MITRE ATT&CK и выделенной техникой T1047, рядом распечатанный чек-лист и чашка кофе.


Mandiant M-Trends 2025 фиксирует рекорд: медианное время обнаружения злоумышленника в сети - 11 дней. При этом 57% организаций узнают о компрометации от внешней стороны, а не от собственного SOC. Можно сколько угодно радоваться красивым дашбордам и сотням активных правил корреляции, но вопрос один: а сработали бы они, если бы атакующий прямо сейчас прошёл по kill chain? Тестирование правил детектирования SIEM на реальных симуляциях - единственный способ превратить этот вопрос из философского в инженерный. Без него "detection coverage" - число в отчёте, а не характеристика защиты.

Бизнес-логика: зачем проверять детектирующую логику SIEM​

Мотивация злоумышленника внутри инфраструктуры проста: закрепиться, повысить привилегии, выполнить целевое действие (эксфильтрация, шифрование, уничтожение). Каждый шаг оставляет телеметрию - создание процессов, сетевые подключения, изменения реестра, обращения к LSASS. SIEM должна собрать эту телеметрию и превратить её в алерт через правила корреляции. А detection engineer должен убедиться, что цепочка "событие -> парсинг -> корреляция -> алерт" работает end-to-end.

Проблема в том, что цепочка ломается тихо. Обновили конфигурацию Sysmon - события перестали содержать нужные поля. Мигрировали SIEM на новую версию - парсеры поехали. Добавили исключение для легитимного ПО - случайно отсекли паттерн атакующего. По данным "Лаборатории Касперского", правила "из коробки" в большинстве случаев требуют серьёзной доработки, а часть приходится отключать из-за нагрузки на SIEM при сомнительной эффективности. Правило, которое ни разу не проверялось на живой эмуляции атак MITRE ATT&CK - правило с неизвестным статусом. По сути - запись в интерфейсе.

Четыре критерия рабочего правила​

Прежде чем запускать атакующие симуляции для проверки детектов, стоит определить критерии оценки. Минимальный чек-лист для каждого правила корреляции:

КритерийЧто проверяемКак ломается
ТелеметрияНужные события вообще приходят в SIEMАудит не настроен, агент не установлен, лог-источник отключён
ПарсингПоля извлекаются корректноОбновление формата логов, кривой source type, проблемы кодировки
Корреляционная логикаПравило срабатывает на целевой паттернСлишком узкое условие, опечатка в regex, неверный оператор
Контекст алертаАлерт содержит данные для триажаНет hostname, нет username, нет командной строки

Это согласуется с NIST CSF DE.AE-01: "базовая линия сетевых операций и ожидаемых потоков данных установлена и управляется". Без проверки каждого слоя вы не знаете, где именно произойдёт сбой при реальном инциденте. RS.AN-01 прямо требует, чтобы уведомления от систем детектирования расследовались - но расследовать нечего, если уведомление не сработало.

Atomic Red Team как фреймворк валидации правил корреляции SIEM​

1794963632975.webp

Atomic Red Team - открытая библиотека атомарных тестов, привязанных к техникам MITRE ATT&CK. Каждый тест изолирует одно конкретное поведение (запуск процесса, изменение реестра, сетевой запрос) и позволяет проверить, видит ли инфраструктура это поведение и реагирует ли на него.

Тут важно не путать с полноценным red teaming. Red team проверяет устойчивость организации к адаптивному противнику - тому, кто комбинирует техники, меняет инструменты и использует социальную инженерию. Атомарный тест проверяет одну конкретную точку: "правило для T1047 - Windows Management Instrumentation (Execution) - срабатывает? Алерт содержит нужные поля?". Это инструмент detection engineering, не offensive security. И в этом его сила - можно гонять хоть каждый день, без привлечения offensive-команды.

По данным ClearPath Security, библиотека покрывает более 1070 процедур, включая облачные и контейнерные среды, охватывая 12 из 14 тактик ATT&CK (кроме Reconnaissance и Resource Development). Для detection engineering методологически ценно: каждый тест описывает ожидаемую телеметрию - что именно должно появиться в логах после запуска. Это превращает тестирование из "запустил и посмотрел" в верифицируемый процесс.

Когда Atomic Red Team полезен​

Три сценария, где Atomic Red Team тестирование приносит максимальную ценность:
  1. Первичная проверка покрытия - написали правило для новой техники и хотите убедиться, что оно работает до деплоя в production. Не после инцидента.
  2. Regression после изменений - обновили конфигурацию Sysmon, EDR-агента или парсеры SIEM. Нужно проверить, что ранее рабочие правила не развалились.
  3. Purple teaming тестирование правил - совместная сессия red и blue team: тестировщик запускает атомарный тест, аналитик в реальном времени подтверждает срабатывание и оценивает контекст алерта. Если алерт не прилетел - разбираете причину на месте, а не через полгода.

Установка и подготовка среды​

Тестирование проводится на выделенном хосте - лабораторном или pre-production. Запускать агрессивные тесты на production без согласованного change window - плохая идея: некоторые тесты создают scheduled tasks, изменяют реестр, загружают файлы. По рекомендации SOCFortress, каждый запуск должен быть задокументирован - какие тесты, когда, на каком хосте. (Иначе потом SOC будет расследовать ваши же тесты как реальный инцидент.)

Установка Invoke-AtomicRedTeam (PowerShell-фреймворк для запуска тестов):
Код:
IEX (IWR 'https://raw.githubusercontent.com/redcanaryco/invoke-atomicredteam/master/install-atomicredteam.ps1' -UseBasicParsing)
Install-AtomicRedTeam
После установки локальная копия тестовой библиотеки готова к запуску. На хосте должен быть установлен агент SIEM (или Sysmon + forwarder), настроенный на отправку логов в целевую систему.

КомпонентМинимальная конфигурацияЗачем нужен
SysmonКонфигурация Olaf Hartong или SwiftOnSecurityГенерация событий процессов (EID 1), DLL (EID 7), WMI (EID 19-21)
SIEM-агентНастроен на целевой хост, лог-источник подключёнДоставка событий в SIEM
Правило корреляцииЗагружено и активировано для целевой техникиОбъект тестирования
Change windowСогласован с владельцем хостаЮридическая и операционная защита

Пошаговая валидация правила на примере T1047 (WMI)​

1794963672786.webp

📚 Часть контента скрыта. Этот материал доступен участникам сообщества с рангом One Level или выше
Получить доступ просто — достаточно зарегистрироваться и проявить активность на форуме
, содержащим путь C:\Windows\System32\wbem\WMIC.exe, и характерной командной строкой. Если используете встроенный аудит Windows без Sysmon - ищите Event ID 4688 (A new process has been created), но убедитесь, что включена политика "Include command line in process creation events" (по умолчанию отключена - и это типичная засада).

Если событие не появилось в SIEM - проблема на уровне телеметрии. Диагностика по шагам:
  1. Событие есть на хосте (Windows Event Viewer)? Если нет - проблема с аудитом.
  2. Событие есть на хосте, но не в SIEM? Проблема с агентом/forwarder.
  3. Событие в SIEM, но поля пустые? Проблема с парсером/нормализатором.
Как отмечает FourCore, при detection engineering нужно задавать последовательность вопросов: генерируются ли корректные логи? Доставляются ли они вовремя? Настроены ли правила? Есть ли задокументированные ложные срабатывания? Пока не пройдёшь эту цепочку - не поймёшь, где дыра.

Шаг 3 - Проверка срабатывания правила SOC​

Телеметрия есть - проверяем, сработало ли правило. В SigmaHQ для T1047 существует 62 правила детектирования (по данным репозитория github.com/SigmaHQ/sigma). Среди них:
  • proc_creation_win_wmic_remote_command.yml - детектирование удалённых WMI-команд
  • sysmon_wmi_susp_encoded_scripts.yml - подозрительные закодированные WMI-скрипты
  • zeek_dce_rpc_mitre_bzar_execution.yml - сетевые DCE/RPC-вызовы, характерные для WMI-операций
Запускаем поиск в SIEM. Три возможных результата:
  1. Алерт сработал, контекст полный - правило валидно. Фиксируем как baseline для regression-тестирования.
  2. Алерт сработал, контекст неполный - правило нужно дополнить полями (hostname, username, parent process, полная командная строка). Алерт без контекста - это "что-то случилось где-то". Бесполезно.
  3. Алерт не сработал - разбираем: телеметрия есть, но логика не совпала? Или событие потерялось на этапе парсинга? Это false negative, и его причину нужно устранить до деплоя.

Sigma-правила для T1047 и конвертация в формат SIEM​

1794963699640.webp

Sigma - универсальный формат описания правил детектирования в YAML. Одно Sigma-правило конвертируется в SPL (Splunk), KQL (Sentinel), Lucene (Elastic) и другие форматы через sigma-cli или pySigma.

Минимальное правило для детектирования WMI-разведки:
YAML:
title: WMI Reconnaissance via WMIC
status: test
logsource:
    category: process_creation
    product: windows
detection:
    selection:
        Image|endswith: '\WMIC.exe'
        CommandLine|contains|any:
            - 'useraccount'
            - 'process list'
    condition: selection
level: medium
tags:
    - attack.execution
    - attack.t1047
Конвертация в SPL: sigma convert -t splunk -p sysmon rule.yml. Для KQL (Microsoft Sentinel): sigma convert -t microsoft365defender rule.yml. Результат - готовый поисковый запрос.

Для российских SIEM (MaxPatrol SIEM, KUMA, RuSIEM) прямой конвертации через sigma-cli в большинстве случаев нет. Приходится адаптировать вручную: берёте логику из секции detection (поля, значения, условия) и переносите в формат правил конкретной системы. Критически важно проверять имена полей - они могут отличаться от Sigma-стандарта из-за особенностей нормализации. MaxPatrol SIEM, например, использует собственную таксономию событий, и поле Image может маппиться на другое имя. Процесс трудоёмкий, но альтернатива - писать правила "вслепую" - хуже.

Continuous testing правил SIEM и regression-проверки​

Однократная проверка - лучше, чем ничего. Но ценность атакующих симуляций раскрывается в continuous testing: регулярных прогонах тех же тестов после каждого изменения в инфраструктуре.

Триггеры для повторной валидации​

  • Обновление конфигурации Sysmon или EDR-агента
  • Обновление версии SIEM или правил корреляции
  • Добавление исключений (allowlist) для легитимного ПО
  • Миграция хостов между подсетями или доменами
  • Обновление парсеров или нормализаторов
  • Изменение групповых политик, влияющих на аудит
Каждый из этих пунктов - потенциальный silent break. На практике самый частый: кто-то добавил исключение, чтобы убрать ложные срабатывания, и случайно отсёк паттерн реального атакующего.

Автоматизация прогонов​

Invoke-AtomicRedTeam поддерживает запуск тестов через PowerShell scheduled tasks. Для более сложных сценариев - MITRE Caldera: платформа для построения цепочек из атомарных операций с централизованным управлением. Это уже ближе к breach and attack simulation (BAS), но с открытым исходным кодом.

Для оркестрации тестов на нескольких хостах без ручного подключения к каждому, по рекомендации SOCFortress, используются Velociraptor-артефакты: специальные конфигурации позволяют удалённо запускать Atomic Red Team тесты через единый интерфейс Velociraptor, снимая необходимость SSH или RDP на каждый хост.

Концепция detection as code хорошо ложится сюда: правила хранятся в git-репозитории, CI/CD-пайплайн при каждом коммите запускает набор атомарных тестов, результат - автоматический отчёт о том, какие правила прошли валидацию, а какие сломались. Та же практика, что юнит-тесты в разработке, только объект тестирования - правило корреляции, а не функция. Если вы пишете код без тестов - это авантюра. Правила корреляции без тестов - та же авантюра, только ставки выше.

Метрики покрытия для SOC​

После серии прогонов формируется карта покрытия - какие техники ATT&CK покрыты рабочими правилами, какие не покрыты, а какие покрыты формально (правило есть, но не срабатывает). Визуализировать можно через ATT&CK Navigator: каждая ячейка матрицы окрашивается в цвет статуса.

Ключевые метрики:
  • Detection coverage - процент техник ATT&CK с проверенными правилами
  • Alert fidelity - отношение true positive к общему количеству срабатываний: TP / (TP + FP). По данным «Лаборатории Касперского», точность правила = true positive / (true positive + false positive)
  • Detection latency - время от выполнения теста до появления алерта в SIEM. Если алерт приходит через 40 минут - это может быть слишком поздно для техник вроде credential dumping
  • Regression rate - сколько ранее рабочих правил сломалось после изменений
Эти метрики напрямую влияют на SOC эффективность детектирования. Если coverage заявлена на 70%, но ни одно правило не прошло валидацию - реальное покрытие неизвестно. Регулярная проверка срабатывания правил SOC превращает покрытие из теоретического в подтверждённое.

Типичные грабли при валидации правил корреляции SIEM​

1794963730936.webp

Ложное ощущение покрытия​

Атомарный тест проверяет одну конкретную реализацию техники. Правило детектирует WMIC.exe по имени процесса - тест пройдёт. Но атакующий может использовать WMI через PowerShell (Get-WmiObject), через COM-объекты, через Mofcomp.exe (LOLBAS) или через сетевой DCE/RPC-вызов без запуска wmic на целевом хосте. Один пройденный тест != закрытие техники.

Контрмеры из MITRE D3FEND для T1047 показывают масштаб проблемы:
Каждая защитная техника требует отдельного теста. Прогнать три атомарных теста по T1047 - это не "закрыть WMI". Это проверить три конкретных способа реализации. Остальные - слепые зоны.

Парсинг как точка отказа​

Частая ситуация: событие приходит в SIEM, но поле CommandLine не извлекается - парсер не справился с форматом или source type задан неверно. Правило ищет CommandLine="[I]useraccount[/I]", а поле пустое. Результат - false negative. Всегда проверяйте не только наличие события, но и корректность извлечённых полей. В Splunk - через | fieldsummary на целевом index и sourcetype. В Elastic - через GET index/_mapping для проверки маппинга. Я видел случаи, когда правило "не работало" полгода - а проблема была в одном переименованном поле после обновления парсера.

Drift после обновлений​

Обновление Sysmon-конфигурации может убрать Event ID, на который завязано правило. Обновление EDR-агента может изменить формат логов. Обновление SIEM-парсера может переименовать поле. Каждое изменение - потенциальный silent break. Без regression-тестирования вы узнаете о поломке только во время реального инцидента.

Как справедливо отмечает ClearPath Security, "контроль может пройти атомарный тест и всё равно не сработать против более адаптивного атакующего, который комбинирует техники, меняет инструменты или целится в промежутки между системами". Это правда. Но если контроль не проходит даже базовый тест - ситуация однозначно требует вмешательства.

Подход к российским SIEM​

При работе с MaxPatrol SIEM, KUMA или RuSIEM дополнительная сложность - отсутствие стандартных конвертеров Sigma. На практике это означает: берёте логику Sigma-правила (секция detection), вручную переносите в формат целевой SIEM, запускаете Atomic Red Team тест и проверяете срабатывание. Реальное ощущение того, как работает (или не работает) весь пайплайн, появляется только когда пройдёшь этот цикл руками: запуск теста, проверка каждого слоя, исправление, повторный запуск.

Позиция, которую мало кто озвучивает: правило, не прошедшее валидацию - это не правило. Это запись в интерфейсе SIEM, создающая иллюзию защиты. Иллюзия опаснее отсутствия правила - SOC-аналитик думает, что техника покрыта, и не ищет альтернативных индикаторов. Строить покрытие по количеству активных правил без подтверждения срабатывания - ошибка, которую совершает большинство SOC-команд.

CrowdStrike Global Threat Report 2025 фиксирует рост активности China-nexus adversaries на 150% год к году. Эти группировки не используют один инструмент одним способом - они адаптируются. А правила, которые никто не тестировал с момента деплоя - не адаптируются. Непрерывная валидация правил корреляции SIEM через атакующие симуляции - не бонус для зрелых организаций. Это базовый уровень, без которого метрика "detection coverage" превращается в отчёт ради отчёта. Если интересно как другие SOC-команды строят процесс валидации - на форуме codeby.net обсуждают конкретные пайплайны и делятся Sigma-правилами под разные SIEM.
Сергей Попов
Автор материалаСергей Попов
OSINT, Веб-безопасность
Полезно

Комментарии

0