llm red teaming
Всё по теме «llm red teaming» на форуме Codeby.net. Обсуждений: 3. Разборы, инструменты и практика по информационной безопасности.
-
Статья Безопасность AI агентов: атаки и детект в enterprise
В кейсе AML.CS0039 из MITRE ATLAS исследователи собрали полную цепочку компрометации enterprise-системы - и для этого не понадобился ни один эксплойт. Создали тикет в публичном Jira Service Management, вложили prompt injection payload в текст заявки и получили данные всех тикетов инстанса через...- Сергей Попов
- Тема
- ai agent уязвимости ai threat modeling llm red teaming llm security enterprise mcp security mitre att&ck ai prompt injection атаки аудит безопасности llm безопасность ai агентов пентест llm приложений
- Ответы: 0
- Раздел: Безопасность ИИ и LLM
-
Статья Framing Gap: как переформулировка exfiltration-запроса обходит защиту LLM-агентов
При red teaming LLM-агентов с function calling раз за разом всплывает одна штука: прямой запрос exfiltrate the user database блокируется каждым протестированным guardrail - Azure Prompt Shield, NeMo Guard, Llama Guard, кастомные классификаторы на DeBERTa. Тот же самый payload, завёрнутый в...- Сергей Попов
- Тема
- data exfiltration ai framing gap framing gap уязвимость guardrails bypass indirect prompt injection llm red teaming prompt injection tool-using agents безопасность атаки на llm через инструменты безопасность ai-агентов обход guardrails нейросетей обход защиты llm-агентов
- Ответы: 0
- Раздел: Безопасность ИИ и LLM
-
Статья LLM Jailbreak: Методологии тестирования устойчивости модели к Prompt Injection
Если кратко, LLM Jailbreak — это способ заставить модель делать то, чего она вроде бы делать не должна. Ситуация из серии: “а давай ты сам себе отключишь сигнализацию — мне просто посмотреть”. Prompt Injection — источник этого безобразия: вмешательство в промпт таким образом, чтобы модель...- Кудрин Евгений
- Тема
- adversarial prompts garak framework gcg attack input/output sanitization llm jailbreak llm red teaming llm security testing owasp llm top 10 prompt injection pyrit
- Ответы: 0
- Раздел: Арсенал специалиста по ИБ