nyu ctf bench

  1. Сергей Попов

    Статья LLM бенчмарк кибербезопасность: CyberMetric, NYU CTF Bench и InterCode CTF — где модели упираются в потолок

    GPT-4o набирает свыше 85% на CyberMetric - десятитысячном MCQ-датасете по кибербезопасности - и уверенно обгоняет живых специалистов с пятилетним стажем в закрытом тестировании. Ставишь ту же модель перед реальным CTF-таском на binary exploitation: пейлоад синтаксически правильный, но нерабочий...