adversarial prompting

  1. Сергей Попов

    Статья AI Security CTF: как проходить соревнования по безопасности ИИ — prompt injection, jailbreak и атаки на агентов

    195 411 промптов за три дня. Одно соревнование. И всего 1.3% из них заставили чат-бота выдать секретный флаг. Это не гипотетика - реальные цифры AI Hacking CTF от TCM Security: 2 554 успешных утечки из 195 тысяч попыток, 27 884 заблокированных инъекции, и несколько сотен участников, часами...