обход guardrails нейросетей
-
На проверке Framing Gap: как переформулировка exfiltration-запроса обходит защиту LLM-агентов
При red teaming LLM-агентов с function calling раз за разом всплывает одна штука: прямой запрос exfiltrate the user database блокируется каждым протестированным guardrail - Azure Prompt Shield, NeMo Guard, Llama Guard, кастомные классификаторы на DeBERTa. Тот же самый payload, завёрнутый в...- Сергей Попов
- Тема
- data exfiltration ai framing gap framing gap уязвимость guardrails bypass indirect prompt injection llm red teaming prompt injection tool-using agents безопасность атаки на llm через инструменты безопасность ai-агентов обход guardrails нейросетей обход защиты llm-агентов
- Ответы: 0
- Раздел: Безопасность ИИ и LLM