РАЗБОР
На проверке
ИИ сдаёт экзамены по информационной безопасности
Режим чтения
[ обложка статьи ]
Восемь месяцев я прогоняю вопросы из банков Boson и ExSim-Max через GPT-4, Claude и GigaChat - проверяю, насколько экзаменационные форматы устойчивы к языковым моделям. На MCQ по общей теории безопасности модели стабильно бьют проходной порог - при этом сами языковые модели остаются уязвимы к манипуляциям, и полная карта таких атак разобрана в гайде по безопасности LLM. GigaChat, по заявлениям разработчиков, набрал выше проходного на тесте «Информзащиты». Frontier-модели на бенчмарках показывают высокие результаты по общим IT-security вопросам. Факт неудобный для организаторов сертификаций: ИИ сдаёт экзамены по информационной безопасности стабильнее среднего кандидата. И это ставит под вопрос не квалификацию специалистов, а метод её проверки.
Нейросеть сдала экзамен по ИБ: что стоит за цифрами
По сообщениям СМИ, специалисты «Сбера» и учебного центра «Информзащита» прогнали GigaChat через вопросы по кибербезопасности. Тест, предположительно, покрывал нормативно-правовое регулирование защиты информации и законодательство РФ, техническую защиту от утечек и НСД, криптографические методы, аттестацию информационных систем и лучшие практики ИБ. Для дообучения модели, по заявлениям разработчиков, использовались сотни тысяч документов - от описаний уязвимостей и тактик атак до российского законодательства. Результат: проходной балл превышен. (Первичный источник не установлен - конкретный пресс-релиз или публикация с деталями тестирования не обнаружены; информация требует независимой верификации.)Случай не единичный. Бенчмарки, оценивающие LLM на сертификационных экзаменах из области IT- и OT-безопасности, фиксируют ту же картину. Frontier-модели показывают высокие результаты на вопросах по общим концепциям сетевой безопасности.
Заголовки «нейросеть сдала экзамен CISSP» уже не кажутся фантастикой. Но бенчмарки фиксируют чёткий градиент: accuracy резко падает на вопросах, требующих вендор-специфичных знаний или понимания формальных стандартов (ISA/IEC 62443). Общие IT-security концепции - CIA-triad, классификация угроз, базовая криптография - массово представлены в обучающих корпусах. Вендор-специфичные процедуры, конфигурации конкретных SIEM и EDR, отраслевые стандарты - нет. И вот что характерно: увеличение размера модели даёт убывающую отдачу на специализированных вопросах. Более крупная модель не закрывает пробелы в вендор-специфичных знаниях. Хоть удвой параметры - Fortinet CLI она лучше не выучит.
Исследователи из CMU/SEI, изучавшие возможности LLM в кибербезопасности, прямо пишут: экзамены в формате multiple-choice смещают результаты в сторону сильных сторон LLM. Модели извлекают правильный ответ из контекста вопроса через статистические паттерны, а не через понимание предмета. По их рекомендациям, для адекватной оценки нужны практические, прикладные и всесторонние тесты. Большинство задач в кибербезопасности слишком нюансированы, чтобы их представить простыми вопросами с множественным выбором.
GigaChat сертификацию ИБ не «получил» - он прошёл тест. Тест проверяет распознавание правильных формулировок. Сертификация подразумевает способность применять знания в контексте конкретной инфраструктуры и нести ответственность за последствия. Разница - как между тем, кто прочитал учебник по хирургии, и тем, кто стоит у стола с скальпелем.
AI vs специалист по ИБ: где модели проваливаются
Бенчмарки фиксируют чёткую иерархию: чем специализированнее область - тем хуже результат модели. На общих вопросах IT-безопасности - уровень эксперта. На вендор-специфичных конфигурациях (Cisco, Fortinet, Palo Alto) - заметное снижение. На OT-безопасности и стандартах вроде ISA/IEC 62443 - провал. Протоколы промышленных систем, специфика SCADA-сетей, требования к защите объектов КИИ - всё это слабо представлено в открытых обучающих данных. Модель не знает, как выглядит Modbus-пакет на практике, потому что в интернете об этом написано в сто раз меньше, чем про REST API.Есть и другая проблема - нестабильность. По данным ряда исследований (в том числе Aikido.dev), модели при повторных запусках на одних и тех же уязвимостях находят разное количество проблем. Часть CVE обнаруживается стабильно, часть выпадает от запуска к запуску. Одни модели дают больший охват, другие - лучшую воспроизводимость, но ни одна не выдаёт стабильных результатов на всём датасете.
Для экзамена нестабильность не критична - запустил пять раз, взял лучший результат. Для реальной работы, где инцидент не повторяется по запросу и требует контекста инфраструктуры - дисквалифицирующий фактор.
Три категории задач, где ИИ не конкурент
Контекстные решения. Специалист оценивает риск с учётом бизнес-процессов, бюджета и внутренней политики компании. Модель не знает, что CISO и директор по ИТ - один человек, а бюджет на ИБ ещё не утверждён. Я видел ситуации, когда формально правильная рекомендация была абсолютно нереализуемой - просто потому что в компании три человека на весь ИТ-отдел.Расследование инцидентов. MITRE ATT&CK описывает технику Query Public AI Services (T1682) в тактике reconnaissance - атакующие уже используют ИИ для разведки. Но расследование требует корреляции данных из десятка источников, контакта с владельцами систем и решений под давлением времени. LLM не позвонит администратору в 3 часа ночи.
Ответственность. Ни одна модель не подпишет акт аттестации информационной системы. Не объяснит регулятору выбор конкретной меры защиты по требованиям ФСТЭК. Не возьмёт на себя последствия неправильной классификации инцидента. А когда прилетает штраф - его платит человек, а не нейросеть.
Ценность сертификатов в ИБ: какие форматы устойчивы к ИИ
Не все сертификации одинаково уязвимы. Ценность сертификатов в ИБ определяется тем, насколько экзаменационный формат проверяет реальные навыки, а не способность распознать правильную формулировку.| Формат экзамена | Устойчивость к ИИ | Примеры |
|---|---|---|
| Чистые MCQ без прокторинга | Низкая | Vendor-neutral теоретические тесты |
| MCQ с прокторингом и рандомизацией | Средняя | CompTIA Security+, CISSP (CAT-формат) |
| Практические лабы + MCQ | Высокая | OSCP, eJPT, PNPT |
| Live-attack симуляции | Очень высокая | OSEP, CRTO, практические модули GIAC |
Нужна ли сертификация ИБ в 2026? Да - но не любая. Экзамены, проверяющие только распознавание правильного ответа из четырёх вариантов, объективно обесцениваются. Не потому что ИИ заменит специалистов по безопасности - а потому что работодатель теряет инструмент для различения кандидата с реальным пониманием и кандидата, который натаскался на формулировки (или скормил банк вопросов GPT-4).
Будущее сертификаций ИБ определяется скоростью адаптации. (ISC)² перешёл на адаптивное тестирование (CAT) для CISSP, EC-Council расширяет практические модули. Появляются гибридные форматы: теория с MCQ плюс практическая лаба на отдельной инфраструктуре. Стоимость проведения экзамена растёт, зато формат устойчив к автоматизации.
На что делать ставку при выборе сертификации
Приоритизируйте экзамены с практическим компонентом. OSCP (цена на 2025 - $1749 за Learn One) требует эксплуатации реальных машин в ограниченное время - это модель за вас не сдаст. GIAC включает прокторинг с контролем среды. CompTIA Security+ остаётся входным билетом, но сам по себе уже не выделяет кандидата на фоне GPT-4. Если бюджет ограничен - eJPT ($249) или PNPT ($399) дают практику за разумные деньги.ИИ и рынок труда ИБ: карьерный roadmap
Автоматизация профессии ИБ-специалиста - не замена людей, а сдвиг порога входа. Базовые теоретические знания перестают быть конкурентным преимуществом. Квалификация ИБ-специалиста теперь определяется не объёмом заученных стандартов, а способностью применять знания в конкретном контексте.Что проверяют на техническом интервью
На собеседованиях в российских компаниях (по данным вакансий на hh.ru и Habr Career) джуниору задают три категории вопросов:- Теория - стандарты, классификация угроз, основы криптографии. Здесь языковые модели в кибербезопасности справляются на уровне эксперта. Одной теории для оффера недостаточно.
- Сценарные кейсы - «что сделаете, если в SIEM всплывёт аномальный трафик на порту 4444?», «как расследуете фишинговый инцидент?». Нужен опыт работы с конкретными инструментами и понимание процессов IR. Тут модель начинает плыть - она выдаст красивый чеклист, но не скажет, что Meterpreter по умолчанию стучит именно на 4444 и что это первое, что надо проверить.
- Практика - настройка правил детектирования, анализ PCAP, написание Sigma-правил. Проверяется на стенде или через тестовое задание.
Конкретный roadmap на 2025-2026
Для входа в ИБ или перехода из смежной IT-области:Принцип простой: строить грейд на том, что модель не может - контекст, ответственность, коммуникация, практический опыт.
Тема «ИИ сдаёт экзамены по информационной безопасности» разделила сообщество на два лагеря. Одни паникуют: сертификации мертвы, всех заменят нейросетью. Другие отмахиваются: модель не специалист, ничего не изменится. Обе позиции мимо. Модели уже надёжно закрывают MCQ-теорию - подтверждено бенчмарками и результатами тестирования GigaChat. Но рынок ИБ не схлопнется, он трансформируется.
Дефицит людей, способных расследовать инцидент в 3 часа ночи, объяснить совету директоров необходимость WAF и настроить детектирование под конкретную инфраструктуру - этот дефицит растёт, а не сокращается.
Мой прогноз: через 2-3 года MCQ-only экзамены либо добавят практический компонент, либо превратятся в формальность, которую ни один нанимающий менеджер не воспринимает всерьёз. Автоматизация тестирования знаний ИБ - не угроза, а фильтр: отсеивает поверхностных кандидатов и поднимает планку для остальных. Ставку стоит делать на сертификации с лабами, портфолио с реальными кейсами и навык использования ИИ как инструмента - а не замены мозгов. На IB Basics учим не «что такое CIA-triad», а как решать первые задачи в SOC и blue team - codeby.school/ib-basics.
AI-выжимка
сгенерировано ИИ
Тезисы статьи скоро
Статья читается полностью. Тезисы со ссылками на разделы появятся позже.
Содержание
Codeby Academy
Практика и мастерство
От основ до продвинутого — программы для практиков Codeby.
Перейти к курсу →
Поиск в обсуждении
Карта ветки
Продолжить чтение
Следующий разбор
Регулирование ИИ и кибербезопасность на практике
Ещё по теме
- Статья
- Статья
Комментарии
0