owasp llm top 10
-
Статья Атаки на AI-системы в пентесте: prompt injection, jailbreak и adversarial ML
По данным JailbreakBench и HarmBench, ASR jailbreak-атак на flagship-модели - GPT-4, Claude - превышает 80%. Тестировали на корпусах из сотен adversarial промптов, собранных с GitHub, Reddit, Discord и из академических датасетов. Production-конфигурации, safety-фильтры включены. Эти цифры -...- Сергей Попов
- Тема
- adversarial machine learning ai red teaming jailbreak llm пентест llm security тестирование owasp llm top 10 prompt injection атака атаки на ai-системы пентест тестирование безопасности llm
- Ответы: 0
- Раздел: Безопасность ИИ и LLM
-
Статья AI агенты для поиска уязвимостей: архитектуры, реальные находки и ловушки для пентестера
Vulnhuntr от Protect AI автономно нашёл stored XSS в ComfyUI (CVE-2024-10099, CVSS 6.1) и RCE в Ragflow (CVE-2024-10131, CVSS 8.8) - оба проекта с десятками тысяч звёзд на GitHub. Автор практического обзора на red.cyber-ed.ru потратил ~$200 на токены Claude, выловил Stored XSS в AI-продукте с...- Сергей Попов
- Тема
- agentic security tools ai агенты для поиска уязвимостей ai пентест 2026 bug bounty автоматизация llm для пентеста owasp llm top 10 vulnhuntr автоматизация поиска уязвимостей
- Ответы: 0
- Раздел: Безопасность ИИ и LLM
-
Статья Атаки на agentic AI пайплайны: как публичный GitHub issue захватывает workflow организации
В 2025-2026 годах описан класс атак на AI-агентов в GitHub Actions: вредоносный комментарий в pull request заставлял агентов - Copilot, Gemini CLI, Claude Code - сливать secrets, включая API-ключи и GITHUB_TOKEN, прямо в публичные логи workflow. Ноль взаимодействия от мейнтейнера, ноль...- Сергей Попов
- Тема
- ai supply chain атаки github actions безопасность indirect prompt injection github llm pipeline hijack owasp llm top 10 prompt injection ci/cd атаки на agentic ai пайплайны безопасность ai агентов
- Ответы: 0
- Раздел: Безопасность ИИ и LLM
-
Статья Безопасность LLM приложений: полное руководство по атакам, защите и AI red teaming
По данным CrowdStrike Global Threat Report 2025, использование генеративного AI для социальной инженерии и фишинга удвоилось за 2024 год. IBM X-Force Threat Intelligence Index 2025 фиксирует: генерация фишинговых писем через GenAI ускорилась в 11.4 раза при сопоставимом качестве. Но пока...- Сергей Попов
- Тема
- ai red teaming garak indirect prompt injection jailbreak llm mcp уязвимости model poisoning owasp llm top 10 prompt injection pyrit безопасность ai агентов безопасность llm приложений тестирование безопасности ai
- Ответы: 0
- Раздел: Безопасность ИИ и LLM
-
Статья Пентест LLM и AI-систем: от OWASP LLM Top 10 до регуляторного маппинга находок
На проекте по тестированию банковского чат-бота, построенного на RAG-архитектуре, системный промпт и API-ключи к трём внутренним микросервисам удалось вытащить за сорок минут - через комбинацию прямой prompt injection и манипуляции контекстным окном. Ни Burp Suite, ни Nuclei, ни OWASP ZAP ничего...- Сергей Попов
- Тема
- ai red teaming owasp llm top 10 prompt injection атака безопасность llm пентест llm и ai-систем регулирование ии безопасность тестирование безопасности ии уязвимости языковых моделей
- Ответы: 0
- Раздел: Безопасность ИИ и LLM
-
Статья Атаки на LLM системы: от prompt injection до компрометации AI-агента
По данным adversarial-исследований на arXiv, Attack Success Rate (ASR) для frontier-моделей вроде GPT-4 и Claude 2 достигал 80-90% при определённых категориях промптов и продвинутых техниках - roleplay, logic traps, encoding, multi-turn. Другие бенчмарки (Zou et al. 2023, HarmBench...- Сергей Попов
- Тема
- jailbreak llm owasp llm top 10 prompt injection атака red teaming llm атаки на llm системы безопасность ai систем обход защиты ai уязвимости языковых моделей
- Ответы: 0
- Раздел: Безопасность ИИ и LLM
-
Статья AI Security CTF: как проходить соревнования по безопасности ИИ — prompt injection, jailbreak и атаки на агентов
195 411 промптов за три дня. Одно соревнование. И всего 1.3% из них заставили чат-бота выдать секретный флаг. Это не гипотетика - реальные цифры AI Hacking CTF от TCM Security: 2 554 успешных утечки из 195 тысяч попыток, 27 884 заблокированных инъекции, и несколько сотен участников, часами...- Сергей Попов
- Тема
- adversarial prompting ai security ctf ctf по безопасности ии jailbreak llm owasp llm top 10 prompt injection атаки атаки на ai агентов взлом языковых моделей
- Ответы: 0
- Раздел: HackerLab: практика и соревнования
-
Статья Нейросети в руках мошенников_ векторы атак, методы выявления и защита
Генеративные нейросети — штука полезная, пока их не берут в руки те, кто хочет вас развести. Мошенники быстро смекнули: LLM (large language model, большая языковая модель) — отличный инструмент для правдоподобного персонализированного фишинга, аккуратной подделки писем под конкретную компанию и...- Кудрин Евгений
- Тема
- captcha data poisoning fraudgpt llm owasp llm top 10 prompt injection дипфейк дипфейки фишинг
- Ответы: 0
- Раздел: Безопасность ИИ и LLM
-
Статья Threat Modeling для LLM-приложений: Применение STRIDE и DFD к новым угрозам
1. Введение: LLM Threat Landscape Большие языковые модели (LLM) быстро перешли из разряда игрушек в слой реальных бизнес-процессов — от поддержки пользователей до обработки чувствительных данных. Вместе с пользой пришли и практичные риски. Прежде чем рассматривать тему подробнее, надо...- Кудрин Евгений
- Тема
- ai security architecture; dfd ai-систем llm threat landscape 2025 model poisoning owasp llm top 10 prompt injection threat mode stride для llm threat modeling ai безопасность llm
- Ответы: 0
- Раздел: Безопасность ИИ и LLM
-
Статья Безопасность LLM: полная карта атак на языковые модели, prompt injection и регуляторные требования к ИИ в 2026 году
По данным исследований «Информзащиты», около 70% организаций уже столкнулись с атаками через LLM. При этом большинство команд безопасности продолжают оценивать языковые модели по лекалам классических веб-приложений - ищут SQL-инъекции там, где работает совершенно иная плоскость атак. Я лично...- Сергей Попов
- Тема
- adversarial attacks ии ai red teaming eu ai act garak indirect prompt injection jailbreak llm owasp llm top 10 prompt injection pyrit атаки на языковые модели безопасность llm защита llm
- Ответы: 0
- Раздел: Общение и нетворкинг
-
Статья LLM Jailbreak: Методологии тестирования устойчивости модели к Prompt Injection
Если кратко, LLM Jailbreak — это способ заставить модель делать то, чего она вроде бы делать не должна. Ситуация из серии: “а давай ты сам себе отключишь сигнализацию — мне просто посмотреть”. Prompt Injection — источник этого безобразия: вмешательство в промпт таким образом, чтобы модель...- Кудрин Евгений
- Тема
- adversarial prompts garak framework gcg attack input/output sanitization llm jailbreak llm red teaming llm security testing owasp llm top 10 prompt injection pyrit
- Ответы: 0
- Раздел: Арсенал специалиста по ИБ
-
SecAI: защита ML и LLM-продуктов от prompt injection и data poisoning
В мире, где каждая компания спешит встроить LLM в продукт, злоумышленники уже нашли слабые места. Две самые опасные атаки, с которых всё начинается, — Prompt Injection и Data Poisoning. Обычные фильтры и сканеры безопасности против них Эти уязвимости особенно опасны для продуктовых команд: они...- Кудрин Евгений
- Тема
- ai product security ai security data poisoning llm model security nemo guardrails owasp llm top 10 prompt injection rag security
- Ответы: 0
- Раздел: Безопасность веб-приложений