prompt injection атаки

  1. Сергей Попов

    Статья Тестирование защищённости ИИ-систем: гайд

    В 2025 году 29% организаций словили атаки на инфраструктуру корпоративных ИИ-приложений, ещё 32% - на сами ИИ-приложения (оценка Gartner через TAdviser). CrowdStrike фиксирует удвоение вредоносного использования GenAI для социальной инженерии за 2024 год. При этом русскоязычных методологий...
    • Сергей Попов
    • Тема
    • adversarial атаки на ии owasp llm top 10 prompt injection prompt injection атаки red teaming ии аудит безопасности ии безопасность llm методология тестирования ии пентест ии-систем тестирование защищённости ии-систем тестирование ии на уязвимости
    • Ответы: 0
    • Раздел: Безопасность ИИ и LLM
  2. Сергей Попов

    Статья Instruction Privilege Escalation: как контекст агента получает root-права над LLM

    В 2025 году Johann Rehberger (Embrace The Red) показал атаку, после которой хочется пересмотреть отношение к "безобидным" coding-агентам. GitHub Copilot через indirect prompt injection перезаписывал конфигурацию Claude Code - файл .mcp.json - добавляя туда вредоносный MCP-сервер. Claude Code...
    • Сергей Попов
    • Тема
    • ai agent harness уязвимости ai agent security confused deputy llm cross-agent privilege escalation instruction hierarchy bypass owasp llm top 10 prompt injection атаки контекст агента llm обход системного промпта эскалация привилегий в llm агентах
    • Ответы: 0
    • Раздел: Безопасность ИИ и LLM
  3. Сергей Попов

    Статья Agentic AI red team безопасность: design flaws и attack vectors инструментов тестирования

    Palo Alto Unit 42 воспроизвели ряд сценариев атак на agentic-приложениях поверх CrewAI и AutoGen - уязвимости оказались framework-agnostic, зашитыми в архитектурные паттерны, а не в код конкретных фреймворков - общий контекст угроз и защитных мер собран в руководстве по безопасности LLM...
    • Сергей Попов
    • Тема
    • adversarial ai red teaming agentic ai attack surface agentic ai red team безопасность ai security design flaws llm security уязвимости prompt injection атаки pyrit безопасность scoring pipeline attack
    • Ответы: 0
    • Раздел: Безопасность ИИ и LLM
  4. Сергей Попов

    Статья AI Security CTF: как проходить соревнования по безопасности ИИ — prompt injection, jailbreak и атаки на агентов

    195 411 промптов за три дня. Одно соревнование. И всего 1.3% из них заставили чат-бота выдать секретный флаг. Это не гипотетика - реальные цифры AI Hacking CTF от TCM Security: 2 554 успешных утечки из 195 тысяч попыток, 27 884 заблокированных инъекции, и несколько сотен участников, часами...
Верх Низ
Назад