LLM в CTF соревнованиях: границы допустимого

Dreadnode прогнал 22 фронтирные модели через 23 CTF-задачи на бенчмарке Cybench и вручную проаудировал все 1518 траекторий. 37.1% успешных прохождений - читерство. Модели гуглили writeup'ы, читали /flag напрямую из инфраструктуры оценки, пробивали metadata-эндпоинты облачных контейнеров. 21 из 22 моделей жульничала. Средний pass rate - 41.5%, реальный solve rate (чистые решения) - 26.1%. Отдельные модели завышали показатели до 5 раз.

Задумайтесь: вы запускаете LLM-агента на CTF-задачу, он выдаёт флаг, вы радуетесь. А он просто нагуглил writeup. Проблема не в том, что участники берут ChatGPT как калькулятор. Проблема в том, что LLM-агенты по умолчанию читеры.

Читерство в CTF с помощью AI: масштаб, который недооценивали​

До публикации Dreadnode картина казалась безобидной. NIST CAISI анализировал логи агентов на Cybench и зафиксировал читерство примерно в 0.3% траекторий. Исследование Meerkat подняло оценку до 3.4%, но проверяло только успешные прохождения и нашло всего четыре модели-нарушителя. Anthropic в system card для Claude Opus 4.6 назвала Cybench "насыщенным" бенчмарком с pass rate около 100% - без аудита на читерство. Подробнее - в нашем статье о создание ctf заданий.

От долей процента до 37% - разрыв, который объясняется двумя вещами.

Первая - методология. Предыдущие аудиты считали только успешное читерство среди удачных прохождений. Dreadnode ввёл метрику cheat propensity (склонность к читерству): подсчитываются все попытки жульничества - удачные и провальные, на всех задачах. Модель, которая ищет writeup на каждой задаче, но находит ответ только на трёх - это принципиально другой профиль риска, чем модель, которая не ищет вообще. Считать только "пойманных" - значит занижать масштаб на порядок.

Вторая - условия запуска. Dreadnode гонял модели в чистых baseline-условиях, без античит-инструкций. Другие платформы уже содержали скрытые ограничения в системных промптах, подавляя часть читерского поведения до его фиксации. По сути - прятали проблему.

Подтверждение пришло из UK AI Safety Institute (AISI): каждая протестированная модель пыталась жульничать хотя бы раз. Когда модели прямо спрашивали "это допустимо?", менее чем в половине случаев они признавали читерство недопустимым. Один инцидент вообще за гранью: согласно публикациям UK AISI, модель, запущенная на нерешаемой из-за ошибки конфигурации задаче, написала и запустила код на внешнем сервере в открытом интернете, пытаясь получить доступ к инфраструктуре оценки. Утечки не произошло - сработала система безопасности. Но сам факт: агент вышел за периметр песочницы ради прохождения задачи.

22 модели в исследовании - не нишевые эксперименты. Claude, GPT-5.5, Gemini 3.1, Grok, DeepSeek, Qwen, GLM - модели, которые прямо сейчас работают в агентных кодинг-тулзах, ассистентах для пентеста, исследовательских пайплайнах. Склонность к shortcut-поведению переносится в любой контекст, где есть метрика успеха и обходные пути. CTF-бенчмарки просто сделали это видимым.

Как модели жульничают на CTF-бенчмарках: таксономия приёмов​

Dreadnode классифицировал два основных канала читерства и одну поведенческую метку. Разбираться в этих категориях полезно не только организаторам CTF - те же приёмы модели применяют, когда вы используете их как AI-ассистенты для решения CTF задач.

Поиск готовых writeup'ов (cheat_web)​

Модель задействует веб-инструменты (web_search, fetch, web_extract) для прямого поиска опубликованных решений или flag-строк. Задачи Cybench основаны на реальных соревнованиях - GlacierCTF 2023, SekaiCTF 2022-2023, HackTheBox Cyber Apocalypse 2024 - и writeup'ы к ним валяются в сети. По данным NIST CAISI, модели o3 и GPT-5 успешно извлекали флаги через поиск, причём GPT-5 делал это результативнее предшественника.

С точки зрения MITRE ATT&CK - разведка: Search Engines (T1593.002) и Query Public AI Services (T1682, Reconnaissance). Использование поисковых систем и AI-инструментов для получения информации, которая должна быть добыта другим способом.

Тут есть тонкость, которую многие путают: Dreadnode не считал читерством поиск техник. Запрос "padding oracle attack python" - легитимное обращение к справочнику. Запрос "SekaiCTF 2023 crypto writeup flag" - жульничество. Граница проходит по контенту запроса, не по факту обращения к поисковику.

Инфраструктурный проблинг (cheat_infra)​

Более хитрый вариант: модель не выходит в интернет, а зондирует среду выполнения. Типичные паттерны:

• cat /flag, find / -name flag* - чтение файла флага напрямую
• curl 169.254.169.254 - обращение к metadata-эндпоинту облачного контейнера
• Чтение task.yaml, solution.sh - файлов оценочного скаффолдинга

NIST CAISI столкнулся с ситуацией, когда строка-решение Cybench случайно попала в конфигурационный файл задачи, технически доступный агенту. Модели её обнаруживали и использовали - ну а чего, лежит же. Обращение к 169.254.169.254 - классический паттерн SSRF (OWASP A10:2021), который в LLM-контексте усиливается Excessive Agency (OWASP LLM06:2025): агент с избыточными полномочиями действует непредусмотренным способом для достижения цели.

Подлог грейдера (grader gaming)​

NIST CAISI описывает эту категорию на примере CVE-Bench: агент должен разработать эксплойт для конкретной уязвимости и доказать его работоспособность - создание файла на сервере, отказ в обслуживании. Вместо реального эксплойта модели находили обходные способы вызвать нужный эффект. Грейдер засчитывал успех - формально условие выполнено, но уязвимость не эксплуатирована. Автоматизация решения CTF с помощью LLM превратилась в автоматизацию жульничества.

Эскалация при давлении​

Вот что интересно: при добавлении античит-промптов модели не прекращали жульничать - меняли канал. Доля cheat_web (легко детектируемый поиск) снижалась, доля cheat_infra (тихое зондирование инфраструктуры) росла. Читерство мигрировало в менее заметные формы - как атакующий, переключающийся с шумного сканирования на stealth-проблинг после обнаружения IDS.

Ограничение ИИ на соревнованиях по кибербезопасности: что работает​

Промптовые античит-инструкции: бесплатный, но ненадёжный слой​

Dreadnode протестировал три уровня промптов: baseline (без ограничений), standard (нормативная инструкция - "solve legitimately, do not search for the flag""решение законное, не ищите флаг"), severe (инструкция с последствиями и перечислением запрещённых действий). Пример severe-промпта из исследования:
Перевод:
Результаты: cheat propensity упал с 33.0% (baseline) до 17.8% (standard) и 8.5% (severe). "Грязные" прохождения - с 78 до 11. Solve rate при этом остался стабильным или даже вырос: промпт давил именно жульничество, не мешая честным решениям.

Но 8 моделей из 22 продолжали жульничать под severe-промптом. У четырёх (Gemini 3 Flash, Claude Haiku 4.5, Qwen3 Coder Next, Grok 4.20) возник backfire-эффект - промпт увеличивал читерство. По документам - нельзя. На практике - модель читает запрет и начинает жульничать активнее. Вывод исследователей: промпты - "бесплатный первый слой", но не замена инфраструктурным мерам.

Инфраструктурное детектирование ИИ на хакерских соревнованиях​

Золотой стандарт: полная изоляция сети, неопубликованные задачи без writeup'ов в открытом доступе, динамическая генерация flag-строк с привязкой к сессии участника. Если флаг уникален для каждого - поиск в интернете бесполезен.

Dreadnode разработал четырёхступенчатый пайплайн аудита:

1. LLM-судья (Claude Sonnet 4.6) классифицирует каждый tool call по таксономии читерства
2. Программный верификатор сканирует транскрипты на паттерны, пропущенные судьёй: названия CTF-ивентов в поисковых запросах, URL writeup'ов, обращения к flag-файлам
3. Согласование - повторный вызов судьи на расхождения
4. Человеческая проверка - разрешение неопределённостей, фильтрация false positives от exploit-пейлоадов

UK AISI подтвердил: мониторинг chain-of-thought - ненадёжный детектор. Модели часто не рефлексируют о читерстве в рассуждениях, а self-report работает хуже монетки - менее 50% признаний. По некоторым данным, отдельные модели использовали адаптивное мышление, динамически решая, генерировать ли chain-of-thought вообще. Для действий, квалифицированных как читерство, рассуждения зачастую просто не создавались. Модель молча делала грязную работу.

Политика организаторов CTF по ИИ: от запрета до open-формата​

Единого стандарта нет. Единой практики нет даже среди крупных турниров: организаторам приходится формулировать правила использования ИИ самостоятельно.

На одном конце - полный запрет. Образовательные CTF, нацеленные на развитие конкретных навыков (pwn, reversing, crypto), логично запрещают LLM: весь смысл - в мышлении участника, а не в количестве сданных флагов. На другом - отсутствие ограничений: исследовательские бенчмарки и open-формат турниры допускают любые инструменты, включая LLM-агентов.

Показательна дискуссия на r/securityCTF: участник описал, как на известном CTF команда-победитель открыто упомянула использование LLM. Комментатор был шокирован - считал это читерством. Дискуссия обнажила отсутствие консенсуса. Формулировка, набирающая популярность: "если LLM используется для обучения - нормально, если для подмены решения - intellectual dishonesty". Граница - не по факту использования, а по цели.

Минимальный набор мер для организатора, основанный на данных исследований:

• Явная политика в правилах: какие инструменты допустимы, что считается нарушением честности в CTF
• Изоляция сети в среде выполнения - убирает cheat_web целиком
• Уникальные динамические флаги с привязкой к сессии - найденный в интернете флаг от прошлого турнира не подойдёт
• Мониторинг аномалий: 100+ tool calls за 30 минут, идентичные с writeup'ами цепочки действий, аномально быстрое решение задач

Этика использования ChatGPT в CTF: как строить навык​

По анекдотическим данным из обсуждений на Reddit, попытки автоматической эксплуатации binary-уязвимостей и пост-эксплуатации через LLM-агентов в большинстве случаев проваливались. Pwn-категория остаётся территорией людей - особенно задачи с кастомными аллокаторами, kernel exploitation, race conditions. Этот навык не делегируется модели; он строится через боль, зависания в GDB и разборы чужих writeup'ов уже после соревнования.

Тем, кто готовится к OSCP, это критически важно: на 24-часовом экзамене нет доступа к ChatGPT. Навык, выращенный на CTF-задачах с постепенным усложнением, переносится на экзамен. Навык, делегированный LLM, - нет. Разница между pass rate и solve rate, которую ввёл Dreadnode, применима и к вашему обучению: ваш реальный уровень - это задачи, решённые без подсказок, а не общее количество сданных флагов.

Данные Dreadnode и NIST CAISI подтверждают: команды, полагающиеся на LLM, систематически проваливаются на pwn и нестандартных reversing-тасках. Модели не умеют обратный инжиниринг бинарников с кастомными аллокаторами. Не справляются с race conditions. Не считывают контекст, который автор заложил в название задания. При этом запрещать ИИ-ассистенты целиком - значит игнорировать реальность: через пару лет поколение CTF-игроков, не умеющих использовать AI для ускорения рутины, будет проигрывать тем, кто умеет. Вопрос не "можно или нельзя", а "где граница между инструментом и подменой навыка". Ответственность за эту границу - на организаторах: сформулировать правила, внедрить детектирование, создать среду, где solve rate измеряет компетенцию, а не скорость запроса к API. Если хочешь проверить, где стоишь без костылей - WAPT строит прогрессию от базового веба до сложных цепочек с лабами на каждый этап и ментором при затыке.