indirect prompt injection
Всё по теме «indirect prompt injection» на форуме Codeby.net. Обсуждений: 6. Разборы, инструменты и практика по информационной безопасности.
-
Статья Prompt injection атаки на AI-агенты: обход Claude Code
Indirect prompt injection, по ряду публикаций, срабатывает в значительном проценте случаев при тестировании агентных систем с auto-execution - точные цифры скачут в зависимости от методологии и набора тестов. За последние полгода я неформально проверял это на Claude Code Auto Mode, Cursor и двух...- Сергей Попов
- Тема
- ai agent security ai agent security обход защиты indirect prompt injection owasp llm top 10 prompt prompt injection атаки на llm-агентов защита llm от prompt injection инъекция промптов обход защиты claude code уязвимости ai-агентов
- Ответы: 0
- Раздел: Безопасность ИИ и LLM
-
Статья Framing Gap: как переформулировка exfiltration-запроса обходит защиту LLM-агентов
При red teaming LLM-агентов с function calling раз за разом всплывает одна штука: прямой запрос exfiltrate the user database блокируется каждым протестированным guardrail - Azure Prompt Shield, NeMo Guard, Llama Guard, кастомные классификаторы на DeBERTa. Тот же самый payload, завёрнутый в...- Сергей Попов
- Тема
- data exfiltration ai framing gap framing gap уязвимость guardrails bypass indirect prompt injection llm red teaming prompt injection tool-using agents безопасность атаки на llm через инструменты безопасность ai-агентов обход guardrails нейросетей обход защиты llm-агентов
- Ответы: 0
- Раздел: Безопасность ИИ и LLM
-
Статья Безопасность LLM приложений: полное руководство по атакам, защите и AI red teaming
По данным CrowdStrike Global Threat Report 2025, использование генеративного AI для социальной инженерии и фишинга удвоилось за 2024 год. IBM X-Force Threat Intelligence Index 2025 фиксирует: генерация фишинговых писем через GenAI ускорилась в 11.4 раза при сопоставимом качестве. Но пока...- Сергей Попов
- Тема
- ai red teaming garak indirect prompt injection jailbreak llm mcp уязвимости model poisoning owasp llm top 10 prompt injection pyrit безопасность ai агентов безопасность llm приложений тестирование безопасности ai
- Ответы: 0
- Раздел: Безопасность ИИ и LLM
-
Статья Безопасность LLM: полная карта атак на языковые модели, prompt injection и регуляторные требования к ИИ в 2026 году
Безопасность LLM: полная карта атак на языковые модели, prompt injection и регуляторные требования к ИИ в 2026 году По данным исследований «Информзащиты», около 70% организаций уже столкнулись с атаками через LLM. При этом большинство команд безопасности продолжают оценивать языковые модели по...- Сергей Попов
- Тема
- adversarial attacks ии ai red teaming eu ai act garak indirect prompt injection jailbreak llm owasp llm top 10 prompt injection pyrit атаки на языковые модели безопасность llm защита llm
- Ответы: 0
- Раздел: Общение и нетворкинг
-
Prompt Injection: атаки на LLM-приложения и защита
В современном мире нейросети везде: от чат-ботов до RAG-систем и аналитики. Миллионы запросов в день — звучит круто, но хакеры уже потирают руки. Давайте начистоту: prompt injection — это, пожалуй, самая забавная но одновременно и очень опасная дыра в безопасности LLM. Если вы когда-нибудь...- Кудрин Евгений
- Тема
- ai red teaming dan guardrails llm indirect prompt injection instruction hierarchy jailbreak llm llm security nemo prompt injection prompt injection defense
- Ответы: 1
- Раздел: Арсенал специалиста по ИБ
-
Статья Red Team против AI-продукта: как тестировать безопасность LLM-сервиса
AI Red Teaming для LLM‑продукта начинается с понимания простой вещи: модель почти никогда не является единственной точкой риска. Риск живёт в системе вокруг неё - в том, какие данные подмешиваются в контекст, какие инструменты доступны, как устроены права, и как ответы превращаются в действия...- Luxkerr
- Тема
- ai red team data exfiltration garak indirect prompt injection jailbreak llm guardrails llm security prompt injection scoping threat modeling
- Ответы: 0
- Раздел: Безопасность веб-приложений