llm red teaming
-
Статья Framing Gap: как переформулировка exfiltration-запроса обходит защиту LLM-агентов
При red teaming LLM-агентов с function calling раз за разом всплывает одна штука: прямой запрос exfiltrate the user database блокируется каждым протестированным guardrail - Azure Prompt Shield, NeMo Guard, Llama Guard, кастомные классификаторы на DeBERTa. Тот же самый payload, завёрнутый в...- Сергей Попов
- Тема
- data exfiltration ai framing gap framing gap уязвимость guardrails bypass indirect prompt injection llm red teaming prompt injection tool-using agents безопасность атаки на llm через инструменты безопасность ai-агентов обход guardrails нейросетей обход защиты llm-агентов
- Ответы: 0
- Раздел: Безопасность ИИ и LLM
-
Статья LLM Jailbreak: Методологии тестирования устойчивости модели к Prompt Injection
Если кратко, LLM Jailbreak — это способ заставить модель делать то, чего она вроде бы делать не должна. Ситуация из серии: “а давай ты сам себе отключишь сигнализацию — мне просто посмотреть”. Prompt Injection — источник этого безобразия: вмешательство в промпт таким образом, чтобы модель...- Кудрин Евгений
- Тема
- adversarial prompts garak framework gcg attack input/output sanitization llm jailbreak llm red teaming llm security testing owasp llm top 10 prompt injection pyrit
- Ответы: 0
- Раздел: Арсенал специалиста по ИБ