owasp llm top 10
-
Статья Уязвимости RAG-систем: атаки на Retrieval-Augmented Generation в корпоративных AI-решениях
Пять документов на один целевой вопрос. Именно столько понадобилось, чтобы манипулировать ответами RAG-системы с вероятностью выше 90% - на тестовых QA-корпусах (NQ, HotpotQA, MS-MARCO). Результат из исследования PoisonedRAG (Zou et al., USENIX Security 2025, Pennsylvania State University +...- Сергей Попов
- Тема
- owasp llm top 10 poisoning векторной базы post-auth rce в ai-системах prompt injection через rag ragflow rce уязвимость атаки на llm атаки на rag-системы безопасность корпоративных ai-решений пентест ai-систем уязвимости rag-систем
- Ответы: 0
- Раздел: Безопасность ИИ и LLM
-
Статья Кража inference-time harness в мультиагентных LLM-системах: методология извлечения и PoC
Одна и та же frontier-модель. Идентичный payload. 0% Attack Success Rate на одном канале инъекции, 100% - на другом. Этот результат (воспроизводимый в нескольких препринтах 2024-2025 годов по kill-chain анализу prompt injection в мультиагентных системах) ломает привычную картину: реальная...- Сергей Попов
- Тема
- kill-chain canary model extraction attack model stealing атаки на llm owasp llm top 10 prompt injection llm reverse engineering llm атаки на оркестрацию агентов безопасность ai агентов извлечение harness llm агентов кража inference-time harness мультиагентные llm системы утечка данных через llm api уязвимости amas архитектур
- Ответы: 0
- Раздел: Безопасность ИИ и LLM
-
Статья Заменит ли ИИ пентестера: что происходит с профессией и как адаптироваться в 2026
Николас Карлини из Google DeepMind (nicholas.carlini.com) в серии публикаций описал эксперименты, в которых LLM - включая Claude - искали уязвимости в веб-приложениях и писали эксплойты. Конкретный объём автономности и воспроизводимость стоит оценивать по первоисточнику, но сам факт...- Сергей Попов
- Тема
- ai пентест инструменты comptia secai+ owasp llm top 10 автоматизация пентеста ии будущее профессии пентестер заменит ли ии пентестера ии и кибербезопасность карьера в кибербезопасности нейросети в иб 2026
- Ответы: 1
- Раздел: Безопасность ИИ и LLM
-
Статья Атаки на AI-системы в пентесте: prompt injection, jailbreak и adversarial ML
По данным JailbreakBench и HarmBench, ASR jailbreak-атак на flagship-модели - GPT-4, Claude - превышает 80%. Тестировали на корпусах из сотен adversarial промптов, собранных с GitHub, Reddit, Discord и из академических датасетов. Production-конфигурации, safety-фильтры включены. Эти цифры -...- Сергей Попов
- Тема
- adversarial machine learning ai red teaming jailbreak llm пентест llm security тестирование owasp llm top 10 prompt injection атака атаки на ai-системы пентест тестирование безопасности llm
- Ответы: 0
- Раздел: Безопасность ИИ и LLM
-
Статья AI агенты для поиска уязвимостей: архитектуры, реальные находки и ловушки для пентестера
Vulnhuntr от Protect AI автономно нашёл stored XSS в ComfyUI (CVE-2024-10099, CVSS 6.1) и RCE в Ragflow (CVE-2024-10131, CVSS 8.8) - оба проекта с десятками тысяч звёзд на GitHub. Автор практического обзора на red.cyber-ed.ru потратил ~$200 на токены Claude, выловил Stored XSS в AI-продукте с...- Сергей Попов
- Тема
- agentic security tools ai агенты для поиска уязвимостей ai пентест 2026 bug bounty автоматизация llm для пентеста owasp llm top 10 vulnhuntr автоматизация поиска уязвимостей
- Ответы: 0
- Раздел: Безопасность ИИ и LLM
-
Статья Атаки на agentic AI пайплайны: как публичный GitHub issue захватывает workflow организации
В 2025-2026 годах описан класс атак на AI-агентов в GitHub Actions: вредоносный комментарий в pull request заставлял агентов - Copilot, Gemini CLI, Claude Code - сливать secrets, включая API-ключи и GITHUB_TOKEN, прямо в публичные логи workflow. Ноль взаимодействия от мейнтейнера, ноль...- Сергей Попов
- Тема
- ai supply chain атаки github actions безопасность indirect prompt injection github llm pipeline hijack owasp llm top 10 prompt injection ci/cd атаки на agentic ai пайплайны безопасность ai агентов
- Ответы: 0
- Раздел: Безопасность ИИ и LLM
-
Статья Безопасность LLM приложений: полное руководство по атакам, защите и AI red teaming
По данным CrowdStrike Global Threat Report 2025, использование генеративного AI для социальной инженерии и фишинга удвоилось за 2024 год. IBM X-Force Threat Intelligence Index 2025 фиксирует: генерация фишинговых писем через GenAI ускорилась в 11.4 раза при сопоставимом качестве. Но пока...- Сергей Попов
- Тема
- ai red teaming garak indirect prompt injection jailbreak llm mcp уязвимости model poisoning owasp llm top 10 prompt injection pyrit безопасность ai агентов безопасность llm приложений тестирование безопасности ai
- Ответы: 0
- Раздел: Безопасность ИИ и LLM
-
Статья Пентест LLM и AI-систем: от OWASP LLM Top 10 до регуляторного маппинга находок
На проекте по тестированию банковского чат-бота, построенного на RAG-архитектуре, системный промпт и API-ключи к трём внутренним микросервисам удалось вытащить за сорок минут - через комбинацию прямой prompt injection и манипуляции контекстным окном. Ни Burp Suite, ни Nuclei, ни OWASP ZAP ничего...- Сергей Попов
- Тема
- ai red teaming owasp llm top 10 prompt injection атака безопасность llm пентест llm и ai-систем регулирование ии безопасность тестирование безопасности ии уязвимости языковых моделей
- Ответы: 0
- Раздел: Безопасность ИИ и LLM
-
Статья Атаки на LLM системы: от prompt injection до компрометации AI-агента
По данным adversarial-исследований на arXiv, Attack Success Rate (ASR) для frontier-моделей вроде GPT-4 и Claude 2 достигал 80-90% при определённых категориях промптов и продвинутых техниках - roleplay, logic traps, encoding, multi-turn. Другие бенчмарки (Zou et al. 2023, HarmBench...- Сергей Попов
- Тема
- jailbreak llm owasp llm top 10 prompt injection атака red teaming llm атаки на llm системы безопасность ai систем обход защиты ai уязвимости языковых моделей
- Ответы: 0
- Раздел: Безопасность ИИ и LLM
-
Статья AI Security CTF: как проходить соревнования по безопасности ИИ — prompt injection, jailbreak и атаки на агентов
195 411 промптов за три дня. Одно соревнование. И всего 1.3% из них заставили чат-бота выдать секретный флаг. Это не гипотетика - реальные цифры AI Hacking CTF от TCM Security: 2 554 успешных утечки из 195 тысяч попыток, 27 884 заблокированных инъекции, и несколько сотен участников, часами...- Сергей Попов
- Тема
- adversarial prompting ai security ctf ctf по безопасности ии jailbreak llm owasp llm top 10 prompt injection атаки атаки на ai агентов взлом языковых моделей
- Ответы: 0
- Раздел: HackerLab: практика и соревнования
-
Статья Нейросети в руках мошенников_ векторы атак, методы выявления и защита
Генеративные нейросети — штука полезная, пока их не берут в руки те, кто хочет вас развести. Мошенники быстро смекнули: LLM (large language model, большая языковая модель) — отличный инструмент для правдоподобного персонализированного фишинга, аккуратной подделки писем под конкретную компанию и...- Кудрин Евгений
- Тема
- captcha data poisoning fraudgpt llm owasp llm top 10 prompt injection дипфейк дипфейки фишинг
- Ответы: 0
- Раздел: Безопасность ИИ и LLM
-
Статья Threat Modeling для LLM-приложений: Применение STRIDE и DFD к новым угрозам
1. Введение: LLM Threat Landscape Большие языковые модели (LLM) быстро перешли из разряда игрушек в слой реальных бизнес-процессов — от поддержки пользователей до обработки чувствительных данных. Вместе с пользой пришли и практичные риски. Прежде чем рассматривать тему подробнее, надо...- Кудрин Евгений
- Тема
- ai security architecture; dfd ai-систем llm threat landscape 2025 model poisoning owasp llm top 10 prompt injection threat mode stride для llm threat modeling ai безопасность llm
- Ответы: 0
- Раздел: Безопасность ИИ и LLM
-
Статья Безопасность LLM: полная карта атак на языковые модели, prompt injection и регуляторные требования к ИИ в 2026 году
По данным исследований «Информзащиты», около 70% организаций уже столкнулись с атаками через LLM. При этом большинство команд безопасности продолжают оценивать языковые модели по лекалам классических веб-приложений - ищут SQL-инъекции там, где работает совершенно иная плоскость атак. Я лично...- Сергей Попов
- Тема
- adversarial attacks ии ai red teaming eu ai act garak indirect prompt injection jailbreak llm owasp llm top 10 prompt injection pyrit атаки на языковые модели безопасность llm защита llm
- Ответы: 0
- Раздел: Общение и нетворкинг
-
Статья LLM Jailbreak: Методологии тестирования устойчивости модели к Prompt Injection
Если кратко, LLM Jailbreak — это способ заставить модель делать то, чего она вроде бы делать не должна. Ситуация из серии: “а давай ты сам себе отключишь сигнализацию — мне просто посмотреть”. Prompt Injection — источник этого безобразия: вмешательство в промпт таким образом, чтобы модель...- Кудрин Евгений
- Тема
- adversarial prompts garak framework gcg attack input/output sanitization llm jailbreak llm red teaming llm security testing owasp llm top 10 prompt injection pyrit
- Ответы: 0
- Раздел: Арсенал специалиста по ИБ
-
SecAI: защита ML и LLM-продуктов от prompt injection и data poisoning
В мире, где каждая компания спешит встроить LLM в продукт, злоумышленники уже нашли слабые места. Две самые опасные атаки, с которых всё начинается, — Prompt Injection и Data Poisoning. Обычные фильтры и сканеры безопасности против них Эти уязвимости особенно опасны для продуктовых команд: они...- Кудрин Евгений
- Тема
- ai product security ai security data poisoning llm model security nemo guardrails owasp llm top 10 prompt injection rag security
- Ответы: 0
- Раздел: Безопасность веб-приложений