Автор темы
Периодически всплывают истории: кто-то случайно получил фрагмент системного промпта от ИИ-сервиса. Скопировал текст, а в буфере оказалось больше, чем на экране. Или модель сама выдала кусок своих инструкций в ответе.
Две позиции, обе с аргументами.
Позиция 1: это серьёзно. Системный промпт определяет поведение модели: что она фильтрует, как расставляет приоритеты, какие ограничения обходит «для себя». Если промпт утекает, атакующий понимает логику защиты и строит обход точнее. По сути, это утечка конфигурации, только не сервера, а модели. Плюс в промпте могут быть бизнес-правила, которые компания не хотела показывать.
Позиция 2: это раздуто. Системный промпт не даёт доступа к данным и не открывает RCE. Большинство «утечек» содержат банальные инструкции вроде «будь вежлив» и «не генерируй вредоносный код». Знание промпта не равно контролю над моделью. А случаи «промпт попал в буфер обмена» чаще объясняются фронтенд-багом, а не дырой в безопасности. Тратить ресурсы на защиту текста, который можно восстановить перебором, не стоит.
Лично я видел оба варианта: и тривиальные промпты, и такие, где были внутренние эндпоинты. Универсального ответа у меня нет.
Ты на стороне тех, кто считает утечки системных промптов реальной проблемой, или тех, кто уверен, что это раздутая история? Объясни почему.