ai red teaming
-
Статья Атаки на AI-системы в пентесте: prompt injection, jailbreak и adversarial ML
По данным JailbreakBench и HarmBench, ASR jailbreak-атак на flagship-модели - GPT-4, Claude - превышает 80%. Тестировали на корпусах из сотен adversarial промптов, собранных с GitHub, Reddit, Discord и из академических датасетов. Production-конфигурации, safety-фильтры включены. Эти цифры -...- Сергей Попов
- Тема
- adversarial machine learning ai red teaming jailbreak llm пентест llm security тестирование owasp llm top 10 prompt injection атака атаки на ai-системы пентест тестирование безопасности llm
- Ответы: 0
- Раздел: Безопасность ИИ и LLM
-
Статья Безопасность LLM приложений: полное руководство по атакам, защите и AI red teaming
По данным CrowdStrike Global Threat Report 2025, использование генеративного AI для социальной инженерии и фишинга удвоилось за 2024 год. IBM X-Force Threat Intelligence Index 2025 фиксирует: генерация фишинговых писем через GenAI ускорилась в 11.4 раза при сопоставимом качестве. Но пока...- Сергей Попов
- Тема
- ai red teaming garak indirect prompt injection jailbreak llm mcp уязвимости model poisoning owasp llm top 10 prompt injection pyrit безопасность ai агентов безопасность llm приложений тестирование безопасности ai
- Ответы: 0
- Раздел: Безопасность ИИ и LLM
-
Статья Пентест LLM и AI-систем: от OWASP LLM Top 10 до регуляторного маппинга находок
На проекте по тестированию банковского чат-бота, построенного на RAG-архитектуре, системный промпт и API-ключи к трём внутренним микросервисам удалось вытащить за сорок минут - через комбинацию прямой prompt injection и манипуляции контекстным окном. Ни Burp Suite, ни Nuclei, ни OWASP ZAP ничего...- Сергей Попов
- Тема
- ai red teaming owasp llm top 10 prompt injection атака безопасность llm пентест llm и ai-систем регулирование ии безопасность тестирование безопасности ии уязвимости языковых моделей
- Ответы: 0
- Раздел: Безопасность ИИ и LLM
-
Статья AI Red Teaming: методология тестирования ML-систем на безопасность
Введение Задача AI red teaming - проверить, выдержит ли система столкновение с реальностью: с действиями обычного пользователя, недоброжелателя, действующего вслепую, или внутреннего сотрудника на грани нервного срыва. Пока теоретики вычерчивают на досках безупречную архитектуру доверия, red...- Кудрин Евгений
- Тема
- adversarial attacks ml ai red teaming ai safety testing jailbreak testing methodology llm red team ml security testing
- Ответы: 0
- Раздел: Безопасность ИИ и LLM
-
Статья Безопасность LLM: полная карта атак на языковые модели, prompt injection и регуляторные требования к ИИ в 2026 году
По данным исследований «Информзащиты», около 70% организаций уже столкнулись с атаками через LLM. При этом большинство команд безопасности продолжают оценивать языковые модели по лекалам классических веб-приложений - ищут SQL-инъекции там, где работает совершенно иная плоскость атак. Я лично...- Сергей Попов
- Тема
- adversarial attacks ии ai red teaming eu ai act garak indirect prompt injection jailbreak llm owasp llm top 10 prompt injection pyrit атаки на языковые модели безопасность llm защита llm
- Ответы: 0
- Раздел: Общение и нетворкинг
-
Prompt Injection: атаки на LLM-приложения и защита
В современном мире нейросети везде: от чат-ботов до RAG-систем и аналитики. Миллионы запросов в день — звучит круто, но хакеры уже потирают руки. Давайте начистоту: prompt injection — это, пожалуй, самая забавная но одновременно и очень опасная дыра в безопасности LLM. Если вы когда-нибудь...- Кудрин Евгений
- Тема
- ai red teaming dan guardrails llm indirect prompt injection instruction hierarchy jailbreak llm llm security nemo prompt injection prompt injection defense
- Ответы: 1
- Раздел: Арсенал специалиста по ИБ