Статья LLM бенчмарк кибербезопасность: CyberMetric, NYU CTF Bench и InterCode CTF — где модели упираются в потолок

GPT-4o набирает свыше 85% на CyberMetric - десятитысячном MCQ-датасете по кибербезопасности - и уверенно обгоняет живых специалистов с пятилетним стажем в закрытом тестировании. Ставишь ту же модель перед реальным CTF-таском на binary exploitation: пейлоад синтаксически правильный, но нерабочий, контекст теряется на третьем шаге, флаг не найден. Знакомо?

Метабенчмарк CAIBench, объединивший свыше 10 000 тестовых инстансов в пяти категориях, зафиксировал эту пропасть в цифрах: на знаниевых тестах LLM показывают свыше 70% успеха, на многошаговых атакующих сценариях - от 20 до 40%. Три бенчмарка - CyberMetric, NYU CTF Bench и InterCode CTF - покрывают спектр от "знает ответ на MCQ" до "решает задачу руками" и дают объективную картину: где AI модели реально полезны для кибербезопасности, а где уверенно галлюцинируют.

Критерии отбора: два класса бенчмарков для оценки LLM в ИБ​

Сейчас существует больше десятка бенчмарков, которые так или иначе оценивают LLM в кибербезопасности: SECURE, SecBench, DFIR-Metric, CyBench, AthenaBench, CyberSOCEval и другие. Прежде чем объяснять, почему в разбор попали именно CyberMetric, NYU CTF Bench и InterCode CTF - нужно разобраться с базовой таксономией. Подробнее - в нашем руководстве по безопасность llm атаки.

Все бенчмарки для оценки LLM в ИБ делятся на два класса:

Энциклопедические - проверяют, что модель знает. Формат - MCQ (выбор из четырёх вариантов), True/False, оценка CVSS по описанию, маппинг CVE на CWE. Модель работает как экзаменуемый на закрытом тестировании: получает вопрос, выбирает ответ. Никакого взаимодействия с реальными системами. Примеры: CyberMetric, SECURE, SecBench, CTIBench.

Скиловые - проверяют, что модель умеет делать. Формат - реальные задачи (CTF, эксплуатация уязвимостей, форензика) в среде, где модель может выполнять код, запускать инструменты, получать обратную связь. Модель работает как агент: анализирует, действует, корректирует. Примеры: NYU CTF Bench, InterCode CTF, CyBench, AutoPenBench.

На энциклопедических тестах LLM давно обогнали живых специалистов - это подтверждают и CAIBench, и результаты CyBench. Даже 8B-модели (Llama-3-8B, Gemma-7B) конкурируют с экспертами на CyberMetric. Frontier-модели набирают 85-95%, тогда как на CyberMetric-80 в закрытом формате с 30 участниками средний human baseline - около 75%. На скиловых бенчмарках картина обратная: на CyBench (CTF-задачи от HackTheBox и других провайдеров) разброс между frontier-моделями огромный - от ~40% до ~90% в зависимости от модели и scaffolding.

Теперь - почему именно эти три.

Полнота покрытия. CyberMetric закрывает энциклопедический пласт. NYU CTF Bench и InterCode CTF закрывают скиловый - но по-разному: NYU CTF Bench оценивает конечный результат (сдал флаг или нет), InterCode CTF оценивает процесс (как модель работает с обратной связью). Вместе - полный спектр от "знает" до "умеет", без избыточности.

Публичная доступность. Все три датасета лежат на GitHub. Воспроизвести результаты может любой с API-ключом и парой часов. Это отличает их от проприетарных решений вроде XBOW Validation Benchmarks.

NYU CTF Bench и InterCode CTF цитируются в метабенчмарке CAIBench (2025) и в систематическом обзоре литературы по LLM в кибербезопасности.

Что осталось за рамками. SecBench - крупнейший по объёму (44 823 MCQ), но большинство вопросов на китайском. SECURE - близок по формату к CyberMetric, но меньше по масштабу. CyBench - перспективный бенчмарк от Stanford с открытым лидербордом, но пересекается по методологии с NYU CTF Bench и заслуживает отдельного разбора. DFIR-Metric - нишевый (форензика), не покрывающий общий ИБ-контекст.

CyberMetric бенчмарк: 10 000 вопросов и потолок знаний​

CyberMetric - открытый MCQ-бенчмарк, представленный на IEEE International Conference on Cyber Security and Resilience в 2024 году. Доступен в четырёх масштабах: CyberMetric-80 (экспресс-тест), CyberMetric-500 (стандартная оценка), CyberMetric-2000 и CyberMetric-10000 (полный экзамен).

Архитектура и домены CyberMetric​

Вопросы сгенерированы через GPT-3.5 и Retrieval-Augmented Generation (RAG) из корпуса, включающего стандарты NIST, исследовательские публикации, RFC, учебники и прочие материалы по кибербезу. Четыре варианта ответа на каждый вопрос. После генерации эксперты потратили свыше 200 часов на валидацию: вычистку ошибок, проверку корректности и удаление вопросов не по теме.

CyberMetric-10000 покрывает несколько доменов с равномерным распределением: пентест, криптография, сетевая безопасность, информационная безопасность, комплаенс, облачная безопасность, стандарты NIST/RFC. Уровень сложности - университетский курс по кибербезу и computer science. Не задачи для новичков, но и не exploit development или reverse engineering уровня CTF.

Пример того, что тестирует энциклопедический бенчмарк. Возьмём гипотетический вопрос в формате, характерном для SECURE: "CVE-2024-0011 допускает выполнение произвольного кода - правда или ложь?" По данным NVD, CVE-2024-0011 - это reflected XSS (CWE-79) в Captive Portal Palo Alto Networks PAN-OS с CVSS 4.3 (MEDIUM). Вектор: CVSS:3.1/AV:N/AC:L/PR:N/UI:R/S:U/C:N/I:L/A:N - атака требует взаимодействия пользователя (UI:R), влияет только на целостность (I:L), без влияния на конфиденциальность и доступность. Уязвимость допускает выполнение JavaScript в контексте браузера аутентифицированного пользователя Captive Portal, а не произвольного кода на сервере. Правильный ответ - ложь. Модели с поверхностными знаниями путают XSS с RCE и завышают серьёзность. Такие вопросы хорошо проверяют точность доменного знания.

GPT безопасность бенчмарк: LLM против живых специалистов​

Авторы CyberMetric протестировали 25 моделей и привлекли 30 человек для прохождения CyberMetric-80 в закрытом формате (без доступа к интернету и документации).

Топ-модели: GPT-4o, GPT-4-turbo, Mixtral-8x7B-Instruct, Falcon-180B-Chat и GEMINI-pro 1.0. Все превзошли средний человеческий результат. Но опытные эксперты всё ещё обгоняли компактные модели: Llama-3-8B, Phi-2 и Gemma-7b проигрывали людям с глубокой специализацией.

Цифры на крупных выборках: gpt-3.5-turbo набирает порядка 85%, опытные специалисты - около 75%. Qwen2.5-32B-Instruct показывает 86-91% в зависимости от объёма выборки (CyberMetric-500 vs CyberMetric-2000). Для контекста: по данным AthenaBench, лучшие результаты frontier-моделей значительно ниже, чем на MCQ-бенчмарках, - но AthenaBench тестирует аналитические задачи CTI (маппинг атак на MITRE, предсказание CVSS, атрибуция threat actors), что существенно сложнее чистого MCQ.

Когда CyberMetric полезен, а когда - нет​

CyberMetric работает для двух задач: фильтрации откровенно слабых моделей и оценки влияния квантизации на доменные знания. Если 32B-модель после квантизации до 4-bit проседает с 88% до 65% - сигнал деградации очевиден.

Для оценки frontier-моделей (GPT-4o, Claude 3.5+, Gemini Pro) CyberMetric насыщен. Все набирают выше 85%, различия статистически незначимы. Чтобы увидеть разницу между топ-моделями, нужны скиловые бенчмарки - и тут на сцену выходят NYU CTF Bench и InterCode CTF.

Датасет публично доступен на GitHub (https://github.com/cybermetric/CyberMetric) в JSON-формате. На его основе можно за вечер собрать тестирующую систему для любой модели через API.

NYU CTF Bench: LLM capture the flag на реальных задачах​

NYU CTF Bench - execution-based бенчмарк для оценки кибербезопасности LLM-агентов на сложных реальных CTF-задачах. Здесь нет вариантов ответа: модель (или агентная система на базе LLM) должна сама проанализировать задачу, сгенерировать решение, выполнить его и вернуть корректный флаг.

Что оценивает NYU CTF Bench​

Бенчмарк использует сложные задачи из реальных CTF-соревнований - и это принципиальное отличие от синтетических тестов. Задания покрывают стандартные CTF-категории: web exploitation, binary exploitation (pwn), reverse engineering, cryptography, forensics. Каждая задача требует многошагового рассуждения: прочитать описание, проанализировать файлы или сервисы, выбрать вектор атаки, сгенерировать эксплойт, выполнить и извлечь флаг.

Для модели это работа в агентном режиме: LLM не просто отвечает на вопрос, а взаимодействует с окружением - запускает инструменты, обрабатывает вывод, принимает решения на основе промежуточных результатов. Именно в связке "рассуждение + действие + корректировка" большинство моделей и ломаются.

Место в цепочке атаки​

Если CyberMetric тестирует начальную фазу - "понимает ли модель контекст уязвимости, протокола, стандарта" - то NYU CTF Bench проверяет полную цепочку от анализа до эксплуатации. В терминах kill chain это аналог всего пути от reconnaissance до initial access и извлечения данных.

Типичная точка отказа - потеря контекста при многошаговой эксплуатации. Модель может правильно определить тип уязвимости (допустим, buffer overflow в бинарнике), но при генерации пейлоада допустить ошибку в offset'е, получить segfault и не скорректировать подход. Человек в этой ситуации запускает GDB, смотрит на стек, двигает offset. Модель зацикливается или переключается на совершенно другой вектор.

CAIBench, интегрирующий результаты нескольких execution-based бенчмарков, фиксирует: на Jeopardy-style CTF-задачах средней и высокой сложности успешность LLM - 20-40% против 70%+ на знаниевых тестах. На Attack and Defense CTF - формате, где нужно одновременно атаковать и защищаться - результаты ещё хуже: 20-40% при оптимальном scaffolding, и существенно ниже без него.

Ограничения NYU CTF Bench​

Бенчмарк оценивает бинарный результат: сдал флаг или нет. Это не позволяет увидеть, насколько модель приблизилась к решению. Агент, правильно определивший вектор атаки, но допустивший ошибку на последнем шаге, получает тот же ноль, что и агент, не понявший задачу вообще. Для исследователя, пытающегося улучшить агентную систему, эта бинарность - боль.

InterCode CTF: интерактивная среда с исполнением кода​

InterCode CTF - execution-based бенчмарк с архитектурным отличием, которое меняет всё: интерактивная среда исполнения с обратной связью. Модель не просто генерирует решение разово - она получает результат выполнения кода и может итеративно корректировать подход.

Архитектура среды InterCode CTF​

InterCode CTF тестирует два связанных навыка: генерацию кода и его применение для эксплуатации. Среда выполнения работает как sandbox: модель пишет код (Python, bash, сырые команды), выполняет его, получает stdout/stderr, анализирует результат и решает, что делать дальше.

Это ближе к реальному рабочему процессу пентестера, чем бинарный "сдал/не сдал" из NYU CTF Bench. Запустил nmap - проанализировал вывод - решил просканировать конкретный порт - нашёл сервис - написал эксплойт - протестировал - получил ошибку - скорректировал. Каждый шаг зависит от предыдущего, и именно эта цепочка с обратной связью отличает InterCode CTF от статичных тестов.

Отличие от NYU CTF Bench​

NYU CTF Bench оценивает конечный результат: сдал флаг или нет. InterCode CTF добавляет оценку промежуточных шагов: насколько эффективно модель использует feedback от среды. Модель, которая упорно повторяет нерабочую команду десять раз подряд вместо анализа ошибки, получает низкую оценку - даже если случайно набредёт на правильный ответ.

Эта метрика - работа с feedback loop - на практике отделяет опытного пентестера от модели с хорошими теоретическими знаниями. На CTF критичен итеративный процесс: попробовал, получил ошибку, понял причину, скорректировал, попробовал снова. Модели часто застревают на этапе "понял причину" - им не хватает контекстного понимания того, почему конкретная команда не сработала в конкретной среде.

Связка InterCode CTF + NYU CTF Bench покрывает execution-based оценку с двух сторон: result-oriented (сдал флаг?) и process-oriented (эффективно ли решал?). Для того, кто оценивает языковые модели для автоматизации пентеста, обе метрики нужны - модель, которая решает задачу за 200 шагов вместо 10, бесполезна на реальном engagement'е.

Сводная таблица: CyberMetric vs NYU CTF Bench vs InterCode CTF​

Критерий	CyberMetric	NYU CTF Bench	InterCode CTF
Класс оценки	Энциклопедический (знания)	Скиловый (результат)	Скиловый (процесс + результат)
Формат	MCQ, 4 варианта ответа	Реальные CTF-задачи, свободный формат	Интерактивное исполнение кода
Масштаб	80-10 000 вопросов	Сложные CTF-челленджи	Задачи с code execution
Домены	Несколько (pentest, crypto, сети, compliance, облако, NIST/RFC и др.)	Стандартные CTF-категории (web, pwn, rev, crypto, forensics)	Генерация и исполнение кода в security-контексте
Исполнение кода	Нет	Да, агентная среда	Да, sandbox с обратной связью
Человеческий baseline	30 участников, закрытый формат	Задачи из реальных CTF (косвенный baseline)	Нет в открытом доступе
Риск контаминации	Высокий (MCQ из публичных документов)	Низкий (реальные CTF-задачи)	Низкий (интерактивная среда)
Публичный датасет	Да (GitHub, JSON)	Да (GitHub)	Да (GitHub)
Стоимость прогона через API	Низкая ($2-5 за CyberMetric-500)	Высокая (агентный режим, множество вызовов)	Средняя (итеративные вызовы)

Когда какой бенчмарк использовать​

Выбор зависит от задачи:

1. Быстро отсеять неподходящие модели - CyberMetric-80. Минуты, копейки.
2. Оценить влияние квантизации на доменные знания - CyberMetric-500 или CyberMetric-2000. Прогон до/после квантизации, сравнение по доменам.
3. Понять, справится ли модель с реальными ИБ-задачами - NYU CTF Bench. Бинарный ответ: решает или нет.
4. Оценить качество итеративного problem solving - InterCode CTF. Не только результат, но и процесс.
5. Полная картина - прогнать все три последовательно: CyberMetric для базы, NYU CTF Bench для результативности, InterCode CTF для процессной эффективности.

Если бюджет ограничен одним бенчмарком, CyberMetric-500 даёт максимум информации при минимальных затратах на API-вызовы. Но полагаться на него одного - значит оценивать только знания, не навыки. Как оценивать хирурга по результатам теста, не пустив его к столу.

Разрыв между знанием и навыком: данные метабенчмарка CAIBench​

Главный вопрос после прогона трёх бенчмарков: коррелируют ли высокие знаниевые оценки с практическими способностями? Нет.

CAIBench (Cybersecurity AI Benchmark) - метабенчмарк, объединяющий пять категорий оценки: Jeopardy-style CTF, Attack and Defense CTF, Cyber Range exercises, knowledge benchmarks и privacy assessments. Суммарно - свыше 10 000 тестовых инстансов. Это "бенчмарк бенчмарков", который позволяет сравнить результаты модели на разных типах задач в единой системе координат.

Ключевые результаты CAIBench​

• Знаниевые тесты: свыше 70% успешности. Насыщение - разница между топ-10 моделями минимальна.
• Многошаговые атакующие сценарии (Attack and Defense CTF): 20-40% успешности. Кратное падение.
• Робототехнические цели (RCTF2): 22% успешности. Кибер-физические системы - полное слепое пятно LLM.

Авторы формулируют прямо: "pre-trained knowledge of cybersecurity in LLMs does not imply attack and defense abilities""Предварительные знания в области кибербезопасности, полученные в рамках магистерских программ, не подразумевают наличия навыков нападения и защиты" - знание не транслируется в навык автоматически.

Фактор фреймворка: scaffold меняет результат в 2.6 раза​

Один из самых практически ценных результатов CAIBench - влияние scaffolding (обвязки вокруг модели) на итоговый перформанс. Комбинация "фреймворк + модель" даёт разброс до 2.6x в Attack and Defense CTF. Одна и та же модель может показать 15% или 39% в зависимости от того, как организовано взаимодействие со средой: какие инструменты доступны, как устроен prompt chaining, есть ли возможность корректировать ошибки.

Для практика вывод принципиальный: оценивать голую модель через API бессмысленно. GPT-4o без фреймворка и та же GPT-4o внутри агентной системы с доступом к терминалу, GDB и pwntools - два разных инструмента с кратно разной эффективностью. При проектировании агентной системы для LLM hacking задач выбор scaffolding важнее выбора модели. Я на своём опыте убедился: одна и та же модель с правильной обвязкой решала задачу, которую без обвязки даже не могла сформулировать.

Аналогичный эффект подтверждают данные AthenaBench: frontier-модели с включённым веб-поиском показывают заметный прирост в задаче threat actor attribution. Модели, как и живые аналитики, работают лучше, когда могут обратиться к внешним источникам.

Карта kill chain и LLM-способностей​

Если наложить результаты всех бенчмарков на стандартную цепочку атаки, картина предсказуема:

• Reconnaissance - модели показывают приемлемые результаты на текстовых задачах этой фазы (агрегация данных, маппинг CVE на MITRE ATT&CK). Энциклопедические знания здесь работают.
• Initial Access - результаты средние. Модель может предложить вектор и даже сгенерировать payload-шаблон, но реализация эксплойта нестабильна.
• Exploitation / Post-Exploitation - зона провала. Многошаговое взаимодействие с системой, адаптация к нестандартным конфигурациям, работа с обратной связью - всё это точки отказа.
• Lateral Movement / Exfiltration - ни один из рассмотренных бенчмарков не тестирует эти этапы изолированно. Данных для оценки нет.

Для пентестера вывод прямой: LLM полезен как ассистент на фазе разведки и как справочник на фазе планирования, но автономный агент для полной цепочки атаки - не текущее поколение моделей. И удвоение вредоносного использования GenAI, зафиксированное CrowdStrike в 2024 году, касается именно тех этапов, где модели сильны - социальная инженерия и фишинг (генерация текста), а не технической эксплуатации.

Практика: прогоняем LLM через CyberMetric​

Для тех, кто хочет не читать чужие результаты, а получить свои.

Требования к окружению​

• Python 3.10+
• openai>=1.0 (pip install openai) или anthropic>=0.18 для Claude
• API-ключ целевой модели (OpenAI, Anthropic, или совместимый endpoint)
• RAM: 4 GB минимум (API-вызовы, датасет в оперативной памяти)
• VRAM: не требуется при работе через API. Для локальной оценки через Ollama с Qwen2.5-32B - минимум 24 GB VRAM (4-bit квантизация) или 32 GB для FP16
• Интернет-соединение для API. Для локальных моделей - Ollama с OpenAI-совместимым endpoint
• Датасет: https://github.com/cybermetric/CyberMetric - скачать JSON-файл для стандартной оценки

Минимальный скрипт оценки​

📚 Часть контента скрыта. Этот материал доступен участникам сообщества с рангом One Level или выше
Получить доступ просто — достаточно зарегистрироваться и проявить активность на форуме

Зарегистрироваться или Войти

Скрипт намеренно упрощён. В продакшн-оценке нужно добавить: system prompt с инструкцией "Answer only with A/B/C/D" и парсинг ответа через regex с границами слов re.search(r'\b[A-D]\b', ...) (substring match из примера выше даёт завышенную accuracy), обработку rate limits и retry-логику, логирование неправильных ответов для ручного анализа, разбивку результатов по доменам (pentest, crypto, сети и т.д.). На CyberMetric-500 при использовании GPT-4o через API стоимость прогона - порядка $2-5.

Интерпретация результатов​

Абсолютное значение accuracy информативно только в контексте baseline'ов:

• 85%+ - уровень frontier-модели. Для энциклопедической оценки этого достаточно.
• 70-85% - уровень опытного специалиста или хорошей mid-размерной модели (32B+).
• Менее 60% - модель непригодна для ИБ-задач в текущем виде.

Но полезнее абсолютной цифры - разбивка по доменам. Если модель стабильно проседает на криптографии, но показывает 90%+ в сетевой безопасности - это конкретная информация о её применимости. Для ассистента SOC-аналитика криптографические знания менее критичны, чем для инструмента анализа протоколов.

Ограничения бенчмарков: что не измеряет ни CyberMetric, ни CTF Bench​

Ни один из трёх рассмотренных бенчмарков не решает нескольких фундаментальных проблем оценки LLM для ИБ-задач.

Контаминация данных​

CyberMetric генерировался из публичных документов - стандартов NIST, RFC, исследовательских публикаций. Те же документы входят в обучающие корпуса frontier-моделей. Модель может не "знать" ответ, а "помнить" его из training data. Для execution-based бенчмарков риск ниже - задачи из реальных CTF менее вероятно попали в training set, но исключить это нельзя: writeup'ы с соревнований публикуются в открытом доступе.

Статичность vs адаптивность​

Реальные атакующие сценарии динамичны: конфигурация цели меняется, защита адаптируется, timing играет роль. Бенчмарки тестируют фиксированные задачи в контролируемой среде. Модель, решившая 40% задач из NYU CTF Bench, не обязательно решит 40% задач на реальном пентесте - там нет чётких границ задачи и нет гарантии, что ответ существует.

Prompt Injection как слепое пятно​

Согласно OWASP LLM Top 10 (2025), Prompt Injection (LLM01) - критический риск для LLM-приложений: специально сформированный пользовательский ввод меняет поведение модели, обходя контроли безопасности. Ни CyberMetric, ни NYU CTF Bench, ни InterCode CTF не оценивают устойчивость модели к prompt injection при выполнении ИБ-задач. Модель, блестяще решающая CTF, может быть перенаправлена злонамеренным промптом при использовании в автоматизированном пентесте.

Отсутствие defensive-метрик​

Все три бенчмарка ориентированы на offensive: знание уязвимостей, эксплуатация, CTF. Defensive-сценарии - детекция аномалий, threat hunting, написание Sigma-правил, анализ логов SIEM - не покрыты. Для полной оценки LLM в ИБ это серьёзный пробел, особенно с учётом того, что большинство коммерческих применений LLM в кибербезопасности сейчас именно defensive (ассистенты SOC-аналитиков, автоматизация triage, генерация detection rules).

Метрика, которой не хватает​

NIST AI RMF (AI 100-1) в функции MEASURE рекомендует использовать "appropriate methods and metrics" для оценки AI-рисков - включая метрики робастности и калибрации. Текущие бенчмарки измеряют accuracy, но не calibration: модель, уверенная на 95% в неправильном ответе, опаснее модели, которая честно сообщает о неопределённости. Для ИБ-контекста это критично - ложноположительный ответ модели "эта конфигурация безопасна" может стоить инцидента.

Последние полтора года я интегрирую LLM в пентест-workflow и параллельно прогоняю эти же модели через бенчмарки. Результаты неоднозначные, но одна закономерность стабильна: ценность LLM - не в автономном решении задач, а в ускорении рутины. Модель не заменяет пентестера - она заменяет тридцать минут гугления и пять минут чтения man-страницы. На уровне CTF это разница между "решил за два часа" и "решил за час сорок". На реальном проекте - между "три вечера на ресёрч" и "два с половиной".

Проблема текущих бенчмарков - они измеряют не ту метрику. Они меряют "решил / не решил", а реальная метрика для практика - "сколько времени сэкономил". Ни один из трёх рассмотренных бенчмарков не предлагает time-to-solve с LLM vs без LLM на идентичных задачах. CAIBench двигается в этом направлении, но пока останавливается на accuracy. Тот, кто первым построит бенчмарк с метрикой time-saved-per-task, даст рынку инструмент, который реально повлияет на решение "встраивать ли LLM в SOC-процессы". Хочется проверить свой уровень на задачах, где модели стабильно буксуют, - CTF-категории web, crypto и pwn доступны на HackerLab (https://hackerlab.pro), и пока что руками получается стабильно быстрее, чем через промпт.