prompt injection атаки

  1. Сергей Попов

    Статья Agentic AI red team безопасность: design flaws и attack vectors инструментов тестирования

    Palo Alto Unit 42 воспроизвели ряд сценариев атак на agentic-приложениях поверх CrewAI и AutoGen - уязвимости оказались framework-agnostic, зашитыми в архитектурные паттерны, а не в код конкретных фреймворков - общий контекст угроз и защитных мер собран в руководстве по безопасности LLM...
  2. Сергей Попов

    Статья AI Security CTF: как проходить соревнования по безопасности ИИ — prompt injection, jailbreak и атаки на агентов

    195 411 промптов за три дня. Одно соревнование. И всего 1.3% из них заставили чат-бота выдать секретный флаг. Это не гипотетика - реальные цифры AI Hacking CTF от TCM Security: 2 554 успешных утечки из 195 тысяч попыток, 27 884 заблокированных инъекции, и несколько сотен участников, часами...