РАЗБОР На проверке 

ИИ сдаёт экзамены по информационной безопасности

Сергей Попов
Сергей Попов Red Team · 6,4 тыс. сообщений
Подписаться
147
Режим чтения
Тёмная лаборатория тестирования ночью: экран монитора светится синевато-бирюзовым, показывая результаты экзамена по информационной безопасности с отметкой 82%. Рядом ноутбук с открытым чатом ИИ, на...


Восемь месяцев я прогоняю вопросы из банков Boson и ExSim-Max через GPT-4, Claude и GigaChat - проверяю, насколько экзаменационные форматы устойчивы к языковым моделям. На MCQ по общей теории безопасности модели стабильно бьют проходной порог - при этом сами языковые модели остаются уязвимы к манипуляциям, и полная карта таких атак разобрана в гайде по безопасности LLM. GigaChat, по заявлениям разработчиков, набрал выше проходного на тесте «Информзащиты». Frontier-модели на бенчмарках показывают высокие результаты по общим IT-security вопросам. Факт неудобный для организаторов сертификаций: ИИ сдаёт экзамены по информационной безопасности стабильнее среднего кандидата. И это ставит под вопрос не квалификацию специалистов, а метод её проверки.

Нейросеть сдала экзамен по ИБ: что стоит за цифрами​

По сообщениям СМИ, специалисты «Сбера» и учебного центра «Информзащита» прогнали GigaChat через вопросы по кибербезопасности. Тест, предположительно, покрывал нормативно-правовое регулирование защиты информации и законодательство РФ, техническую защиту от утечек и НСД, криптографические методы, аттестацию информационных систем и лучшие практики ИБ. Для дообучения модели, по заявлениям разработчиков, использовались сотни тысяч документов - от описаний уязвимостей и тактик атак до российского законодательства. Результат: проходной балл превышен. (Первичный источник не установлен - конкретный пресс-релиз или публикация с деталями тестирования не обнаружены; информация требует независимой верификации.)

Случай не единичный. Бенчмарки, оценивающие LLM на сертификационных экзаменах из области IT- и OT-безопасности, фиксируют ту же картину. Frontier-модели показывают высокие результаты на вопросах по общим концепциям сетевой безопасности.

Заголовки «нейросеть сдала экзамен CISSP» уже не кажутся фантастикой. Но бенчмарки фиксируют чёткий градиент: accuracy резко падает на вопросах, требующих вендор-специфичных знаний или понимания формальных стандартов (ISA/IEC 62443). Общие IT-security концепции - CIA-triad, классификация угроз, базовая криптография - массово представлены в обучающих корпусах. Вендор-специфичные процедуры, конфигурации конкретных SIEM и EDR, отраслевые стандарты - нет. И вот что характерно: увеличение размера модели даёт убывающую отдачу на специализированных вопросах. Более крупная модель не закрывает пробелы в вендор-специфичных знаниях. Хоть удвой параметры - Fortinet CLI она лучше не выучит.

Исследователи из CMU/SEI, изучавшие возможности LLM в кибербезопасности, прямо пишут: экзамены в формате multiple-choice смещают результаты в сторону сильных сторон LLM. Модели извлекают правильный ответ из контекста вопроса через статистические паттерны, а не через понимание предмета. По их рекомендациям, для адекватной оценки нужны практические, прикладные и всесторонние тесты. Большинство задач в кибербезопасности слишком нюансированы, чтобы их представить простыми вопросами с множественным выбором.

GigaChat сертификацию ИБ не «получил» - он прошёл тест. Тест проверяет распознавание правильных формулировок. Сертификация подразумевает способность применять знания в контексте конкретной инфраструктуры и нести ответственность за последствия. Разница - как между тем, кто прочитал учебник по хирургии, и тем, кто стоит у стола с скальпелем.

AI vs специалист по ИБ: где модели проваливаются​

Бенчмарки фиксируют чёткую иерархию: чем специализированнее область - тем хуже результат модели. На общих вопросах IT-безопасности - уровень эксперта. На вендор-специфичных конфигурациях (Cisco, Fortinet, Palo Alto) - заметное снижение. На OT-безопасности и стандартах вроде ISA/IEC 62443 - провал. Протоколы промышленных систем, специфика SCADA-сетей, требования к защите объектов КИИ - всё это слабо представлено в открытых обучающих данных. Модель не знает, как выглядит Modbus-пакет на практике, потому что в интернете об этом написано в сто раз меньше, чем про REST API.

Есть и другая проблема - нестабильность. По данным ряда исследований (в том числе Aikido.dev), модели при повторных запусках на одних и тех же уязвимостях находят разное количество проблем. Часть CVE обнаруживается стабильно, часть выпадает от запуска к запуску. Одни модели дают больший охват, другие - лучшую воспроизводимость, но ни одна не выдаёт стабильных результатов на всём датасете.

Для экзамена нестабильность не критична - запустил пять раз, взял лучший результат. Для реальной работы, где инцидент не повторяется по запросу и требует контекста инфраструктуры - дисквалифицирующий фактор.

Три категории задач, где ИИ не конкурент​

Контекстные решения. Специалист оценивает риск с учётом бизнес-процессов, бюджета и внутренней политики компании. Модель не знает, что CISO и директор по ИТ - один человек, а бюджет на ИБ ещё не утверждён. Я видел ситуации, когда формально правильная рекомендация была абсолютно нереализуемой - просто потому что в компании три человека на весь ИТ-отдел.

Расследование инцидентов. MITRE ATT&CK описывает технику Query Public AI Services (T1682) в тактике reconnaissance - атакующие уже используют ИИ для разведки. Но расследование требует корреляции данных из десятка источников, контакта с владельцами систем и решений под давлением времени. LLM не позвонит администратору в 3 часа ночи.

Ответственность. Ни одна модель не подпишет акт аттестации информационной системы. Не объяснит регулятору выбор конкретной меры защиты по требованиям ФСТЭК. Не возьмёт на себя последствия неправильной классификации инцидента. А когда прилетает штраф - его платит человек, а не нейросеть.

Ценность сертификатов в ИБ: какие форматы устойчивы к ИИ​

Не все сертификации одинаково уязвимы. Ценность сертификатов в ИБ определяется тем, насколько экзаменационный формат проверяет реальные навыки, а не способность распознать правильную формулировку.

Формат экзаменаУстойчивость к ИИПримеры
Чистые MCQ без прокторингаНизкаяVendor-neutral теоретические тесты
MCQ с прокторингом и рандомизациейСредняяCompTIA Security+, CISSP (CAT-формат)
Практические лабы + MCQВысокаяOSCP, eJPT, PNPT
Live-attack симуляцииОчень высокаяOSEP, CRTO, практические модули GIAC

Нужна ли сертификация ИБ в 2026? Да - но не любая. Экзамены, проверяющие только распознавание правильного ответа из четырёх вариантов, объективно обесцениваются. Не потому что ИИ заменит специалистов по безопасности - а потому что работодатель теряет инструмент для различения кандидата с реальным пониманием и кандидата, который натаскался на формулировки (или скормил банк вопросов GPT-4).

Будущее сертификаций ИБ определяется скоростью адаптации. (ISC)² перешёл на адаптивное тестирование (CAT) для CISSP, EC-Council расширяет практические модули. Появляются гибридные форматы: теория с MCQ плюс практическая лаба на отдельной инфраструктуре. Стоимость проведения экзамена растёт, зато формат устойчив к автоматизации.

На что делать ставку при выборе сертификации​

Приоритизируйте экзамены с практическим компонентом. OSCP (цена на 2025 - $1749 за Learn One) требует эксплуатации реальных машин в ограниченное время - это модель за вас не сдаст. GIAC включает прокторинг с контролем среды. CompTIA Security+ остаётся входным билетом, но сам по себе уже не выделяет кандидата на фоне GPT-4. Если бюджет ограничен - eJPT ($249) или PNPT ($399) дают практику за разумные деньги.

ИИ и рынок труда ИБ: карьерный roadmap​

Автоматизация профессии ИБ-специалиста - не замена людей, а сдвиг порога входа. Базовые теоретические знания перестают быть конкурентным преимуществом. Квалификация ИБ-специалиста теперь определяется не объёмом заученных стандартов, а способностью применять знания в конкретном контексте.

Что проверяют на техническом интервью​

На собеседованиях в российских компаниях (по данным вакансий на hh.ru и Habr Career) джуниору задают три категории вопросов:
  1. Теория - стандарты, классификация угроз, основы криптографии. Здесь языковые модели в кибербезопасности справляются на уровне эксперта. Одной теории для оффера недостаточно.
  2. Сценарные кейсы - «что сделаете, если в SIEM всплывёт аномальный трафик на порту 4444?», «как расследуете фишинговый инцидент?». Нужен опыт работы с конкретными инструментами и понимание процессов IR. Тут модель начинает плыть - она выдаст красивый чеклист, но не скажет, что Meterpreter по умолчанию стучит именно на 4444 и что это первое, что надо проверить.
  3. Практика - настройка правил детектирования, анализ PCAP, написание Sigma-правил. Проверяется на стенде или через тестовое задание.
Формулировки вакансий на hh.ru сдвигаются: «сертификация CEH/CISSP приветствуется» переезжает из обязательных в желательные требования. Работодатели отдают приоритет портфолио и практическим тестовым заданиям. Искусственный интеллект в кибербезопасности смещает баланс: доля теоретических вопросов на собеседованиях снижается, практических - растёт.

Конкретный roadmap на 2025-2026​

Для входа в ИБ или перехода из смежной IT-области:
📚 Часть контента скрыта. Этот материал доступен участникам сообщества с рангом One Level или выше
Получить доступ просто — достаточно зарегистрироваться и проявить активность на форуме

Принцип простой: строить грейд на том, что модель не может - контекст, ответственность, коммуникация, практический опыт.



Тема «ИИ сдаёт экзамены по информационной безопасности» разделила сообщество на два лагеря. Одни паникуют: сертификации мертвы, всех заменят нейросетью. Другие отмахиваются: модель не специалист, ничего не изменится. Обе позиции мимо. Модели уже надёжно закрывают MCQ-теорию - подтверждено бенчмарками и результатами тестирования GigaChat. Но рынок ИБ не схлопнется, он трансформируется.

Дефицит людей, способных расследовать инцидент в 3 часа ночи, объяснить совету директоров необходимость WAF и настроить детектирование под конкретную инфраструктуру - этот дефицит растёт, а не сокращается.

Мой прогноз: через 2-3 года MCQ-only экзамены либо добавят практический компонент, либо превратятся в формальность, которую ни один нанимающий менеджер не воспринимает всерьёз. Автоматизация тестирования знаний ИБ - не угроза, а фильтр: отсеивает поверхностных кандидатов и поднимает планку для остальных. Ставку стоит делать на сертификации с лабами, портфолио с реальными кейсами и навык использования ИИ как инструмента - а не замены мозгов. На IB Basics учим не «что такое CIA-triad», а как решать первые задачи в SOC и blue team - codeby.school/ib-basics.
Полезно

Комментарии

0