prompt injection

26 августа 2025 года postinstall-payload в npm-пакете Nx - сборочной системе с 6 миллионами установок в неделю - сделал нечто, чего раньше в supply chain инцидентах не встречалось: обнаружив на рабочей станции разработчика CLI Claude, Gemini и Amazon Q, он дал каждому команду собрать...

Indirect prompt injection, по ряду публикаций, срабатывает в значительном проценте случаев при тестировании агентных систем с auto-execution - точные цифры скачут в зависимости от методологии и набора тестов. За последние полгода я неформально проверял это на Claude Code Auto Mode, Cursor и двух...

В 2025 году 29% организаций словили атаки на инфраструктуру корпоративных ИИ-приложений, ещё 32% - на сами ИИ-приложения (оценка Gartner через TAdviser). CrowdStrike фиксирует удвоение вредоносного использования GenAI для социальной инженерии за 2024 год. При этом русскоязычных методологий...

Последние полтора года я собираю agentic-пайплайны для автоматизации recon и эксплуатации - LangChain-оркестратор с function calling к Nmap, nuclei, Burp Suite API. На одном из проектов агент за 40 минут провёл разведку периметра из 200+ хостов, сгенерировал отчёт и предложил три вектора initial...

При red teaming LLM-агентов с function calling раз за разом всплывает одна штука: прямой запрос exfiltrate the user database блокируется каждым протестированным guardrail - Azure Prompt Shield, NeMo Guard, Llama Guard, кастомные классификаторы на DeBERTa. Тот же самый payload, завёрнутый в...

По данным CrowdStrike Global Threat Report 2025, использование генеративного AI для социальной инженерии и фишинга удвоилось за 2024 год. IBM X-Force Threat Intelligence Index 2025 фиксирует: генерация фишинговых писем через GenAI ускорилась в 11.4 раза при сопоставимом качестве. Но пока...

Генеративные нейросети — штука полезная, пока их не берут в руки те, кто хочет вас развести. Мошенники быстро смекнули: LLM (large language model, большая языковая модель) — отличный инструмент для правдоподобного персонализированного фишинга, аккуратной подделки писем под конкретную компанию и...

Безопасность LLM: полная карта атак на языковые модели, prompt injection и регуляторные требования к ИИ в 2026 году По данным исследований «Информзащиты», около 70% организаций уже столкнулись с атаками через LLM. При этом большинство команд безопасности продолжают оценивать языковые модели по...

Если кратко, LLM Jailbreak — это способ заставить модель делать то, чего она вроде бы делать не должна. Ситуация из серии: “а давай ты сам себе отключишь сигнализацию — мне просто посмотреть”. Prompt Injection — источник этого безобразия: вмешательство в промпт таким образом, чтобы модель...

В современном мире нейросети везде: от чат-ботов до RAG-систем и аналитики. Миллионы запросов в день — звучит круто, но хакеры уже потирают руки. Давайте начистоту: prompt injection — это, пожалуй, самая забавная но одновременно и очень опасная дыра в безопасности LLM. Если вы когда-нибудь...

В мире, где каждая компания спешит встроить LLM в продукт, злоумышленники уже нашли слабые места. Две самые опасные атаки, с которых всё начинается, — Prompt Injection и Data Poisoning. Обычные фильтры и сканеры безопасности против них Эти уязвимости особенно опасны для продуктовых команд: они...

AI Red Teaming для LLM‑продукта начинается с понимания простой вещи: модель почти никогда не является единственной точкой риска. Риск живёт в системе вокруг неё - в том, какие данные подмешиваются в контекст, какие инструменты доступны, как устроены права, и как ответы превращаются в действия...

Исследователи компании ESET заявили об обнаружении первого в мире рафинированного ими программного обеспечения-вымогателя, использующего искусственный интеллект. Зловред под названием PromptLock представляет собой инъекцию запроса (prompt injection) в крупную языковую модель, вынуждающую её...