adversarial machine learning
-
Статья Bit-Flip атаки на веса LLM: как Rowhammer меняет решения модели без доступа к промпту
Десятки перевёрнутых битов из миллиардов параметров - и accuracy модели на математических бенчмарках проседает на десятки процентных пунктов. Текст на выходе при этом остаётся грамматически корректным. Это данные из препринтов по bit-flip атакам на LLM масштаба 7B-14B (независимый факт-чек...- Сергей Попов
- Тема
- adversarial machine learning bit-flip атаки на llm rowhammer атака на нейросети атака на память dram безопасность llm защита нейросетей от rowhammer манипуляция весами нейросети уязвимости весов модели
- Ответы: 0
- Раздел: Hardware Hacking / Аппаратный хакинг
-
Статья Machine learning пентест: автоматизация разведки, анализа трафика и обхода WAF
Полтора года назад я потратил четыре часа на ручной fuzzing одного API-эндпоинта за Cloudflare WAF - перебирал мутации payload'ов, менял кодировки, чередовал case. Потом написал классификатор на scikit-learn, обученный на 2000 пар "payload - HTTP-ответ" из логов Burp Suite. Следующий аналогичный...- Сергей Попов
- Тема
- adversarial machine learning data science иб machine learning пентест ml анализ трафика ml для хакинга offensive ai security автоматизация разведки пентест обход waf ml
- Ответы: 0
- Раздел: Безопасность ИИ и LLM
-
Статья Атаки на AI-системы в пентесте: prompt injection, jailbreak и adversarial ML
По данным JailbreakBench и HarmBench, ASR jailbreak-атак на flagship-модели - GPT-4, Claude - превышает 80%. Тестировали на корпусах из сотен adversarial промптов, собранных с GitHub, Reddit, Discord и из академических датасетов. Production-конфигурации, safety-фильтры включены. Эти цифры -...- Сергей Попов
- Тема
- adversarial machine learning ai red teaming jailbreak llm пентест llm security тестирование owasp llm top 10 prompt injection атака атаки на ai-системы пентест тестирование безопасности llm
- Ответы: 0
- Раздел: Безопасность ИИ и LLM
-
Статья Бэкдоры в нейронных сетях: white-box атака, которую не видит ни один детектор
Последние два года я воспроизводил бэкдор-атаки на нейросети - BadNets, TrojanNN, targeted poisoning через отравление обучающей выборки - и каждый раз Neural Cleanse или STRIP ловили аномалию: выброс в распределении весов, нехарактерный паттерн активаций, отклонение в норме L2 конкретных...- Сергей Попов
- Тема
- adversarial machine learning backdoor attack machine learning ml supply chain security white-box атака на нейросеть безопасность машинного обучения бэкдоры в нейронных сетях обнаружение бэкдоров троянские атаки ml
- Ответы: 0
- Раздел: Безопасность ИИ и LLM
-
Статья ML IDS обнаружение атак без сигнатур: слепые зоны поведенческого детектора
Полгода назад на внутреннем Red Team-упражнении Isolation Forest, обученный на месячном baseline из Zeek conn.log, пропустил DNS-туннель с exfiltration объёмом 800 КБ. Feature vector - средний размер пакетов, количество сессий за интервал, соотношение forward/backward байтов - оставался в...- Сергей Попов
- Тема
- adversarial machine learning evasion techniques ml ids обнаружение атак nids ml аномалия сетевого трафика ml обход ids машинное обучение обход поведенческого анализа поведенческий ids
- Ответы: 0
- Раздел: Арсенал специалиста по ИБ