ai red teaming
Всё по теме «ai red teaming» на форуме Codeby.net. Обсуждений: 8. Разборы, инструменты и практика по информационной безопасности.
-
Статья Agentic AI в кибербезопасности: пентест автономных ИИ-агентов от recon до evasion
Последние полтора года я собираю agentic-пайплайны для автоматизации recon и эксплуатации - LangChain-оркестратор с function calling к Nmap, nuclei, Burp Suite API. На одном из проектов агент за 40 минут провёл разведку периметра из 200+ хостов, сгенерировал отчёт и предложил три вектора initial...- Сергей Попов
- Тема
- agentic ai в кибербезопасности ai agent pentesting ai red teaming memory poisoning owasp llm top 10 prompt injection автономные ии-агенты угрозы безопасность llm агентов пентест ии-агентов
- Ответы: 0
- Раздел: Безопасность ИИ и LLM
-
Статья AI в ransomware-атаках: как автоматизация меняет kill chain и что с этим делать пентестеру
Полтора года я гонял LLM-агентов в изолированных лабах - WormGPT-подобные утечки, кастомные fine-tuned модели, связки с Cobalt Strike и Sliver. Ускорение на отдельных этапах recon было заметным, но полная автономная цепочка атаки оставалась теорией. А потом прилетел JADEPUFFER. От неудачного...- Сергей Попов
- Тема
- ai red teaming ai threat actors 2026 ai в ransomware-атаках ai-driven malware jadepuffer mitre att&ck ransomware автоматизация ransomware-атак автоматизация пентеста с ai автономные ransomware агенты
- Ответы: 0
- Раздел: Безопасность ИИ и LLM
-
Статья Атаки на AI-системы в пентесте: prompt injection, jailbreak и adversarial ML
По данным JailbreakBench и HarmBench, ASR jailbreak-атак на flagship-модели - GPT-4, Claude - превышает 80%. Тестировали на корпусах из сотен adversarial промптов, собранных с GitHub, Reddit, Discord и из академических датасетов. Production-конфигурации, safety-фильтры включены. Эти цифры -...- Сергей Попов
- Тема
- adversarial machine learning ai red teaming jailbreak llm пентест llm security тестирование owasp llm top 10 prompt injection атака атаки на ai-системы пентест тестирование безопасности llm
- Ответы: 0
- Раздел: Безопасность ИИ и LLM
-
Статья Безопасность LLM приложений: полное руководство по атакам, защите и AI red teaming
По данным CrowdStrike Global Threat Report 2025, использование генеративного AI для социальной инженерии и фишинга удвоилось за 2024 год. IBM X-Force Threat Intelligence Index 2025 фиксирует: генерация фишинговых писем через GenAI ускорилась в 11.4 раза при сопоставимом качестве. Но пока...- Сергей Попов
- Тема
- ai red teaming garak indirect prompt injection jailbreak llm mcp уязвимости model poisoning owasp llm top 10 prompt injection pyrit безопасность ai агентов безопасность llm приложений тестирование безопасности ai
- Ответы: 0
- Раздел: Безопасность ИИ и LLM
-
Статья Пентест LLM и AI-систем: от OWASP LLM Top 10 до регуляторного маппинга находок
На проекте по тестированию банковского чат-бота, построенного на RAG-архитектуре, системный промпт и API-ключи к трём внутренним микросервисам удалось вытащить за сорок минут - через комбинацию прямой prompt injection и манипуляции контекстным окном. Ни Burp Suite, ни Nuclei, ни OWASP ZAP ничего...- Сергей Попов
- Тема
- ai red teaming owasp llm top 10 prompt injection атака безопасность llm пентест llm и ai-систем регулирование ии безопасность тестирование безопасности ии уязвимости языковых моделей
- Ответы: 0
- Раздел: Безопасность ИИ и LLM
-
Статья AI Red Teaming: методология тестирования ML-систем на безопасность
Введение Задача AI red teaming - проверить, выдержит ли система столкновение с реальностью: с действиями обычного пользователя, недоброжелателя, действующего вслепую, или внутреннего сотрудника на грани нервного срыва. Пока теоретики вычерчивают на досках безупречную архитектуру доверия, red...- Кудрин Евгений
- Тема
- adversarial attacks ml ai red teaming ai safety testing jailbreak testing methodology llm red team ml security testing
- Ответы: 0
- Раздел: Безопасность ИИ и LLM
-
Статья Безопасность LLM: полная карта атак на языковые модели, prompt injection и регуляторные требования к ИИ в 2026 году
Безопасность LLM: полная карта атак на языковые модели, prompt injection и регуляторные требования к ИИ в 2026 году По данным исследований «Информзащиты», около 70% организаций уже столкнулись с атаками через LLM. При этом большинство команд безопасности продолжают оценивать языковые модели по...- Сергей Попов
- Тема
- adversarial attacks ии ai red teaming eu ai act garak indirect prompt injection jailbreak llm owasp llm top 10 prompt injection pyrit атаки на языковые модели безопасность llm защита llm
- Ответы: 0
- Раздел: Общение и нетворкинг
-
Prompt Injection: атаки на LLM-приложения и защита
В современном мире нейросети везде: от чат-ботов до RAG-систем и аналитики. Миллионы запросов в день — звучит круто, но хакеры уже потирают руки. Давайте начистоту: prompt injection — это, пожалуй, самая забавная но одновременно и очень опасная дыра в безопасности LLM. Если вы когда-нибудь...- Кудрин Евгений
- Тема
- ai red teaming dan guardrails llm indirect prompt injection instruction hierarchy jailbreak llm llm security nemo prompt injection prompt injection defense
- Ответы: 1
- Раздел: Арсенал специалиста по ИБ