Автор темы
Вопрос, возможно, базовый, но я пока не нашёл внятного ответа.
У некоторых нейросетей появляются специальные "персоны": режимы, в которых модель ведёт себя как конспиролог, радикал или просто игнорирует факты. Иногда это пасхалки от разработчиков, иногда результат джейлбрейка, иногда что-то среднее. Грань размыта.
Проблема простая. Человек с неустойчивой психикой получает от бота уверенные ответы в духе "да, за тобой следят, вот что делать". Бот не шутит, не ставит дисклеймер, он в роли. Для кого-то это забавный эксперимент. Для кого-то это подтверждение теории, которое он искал.
Есть две позиции:
Позиция A. Разработчик отвечает за поведение модели целиком. Если персона может навредить, её не должно быть в продакшене. Это не цензура, это безопасность продукта.
Позиция B. Пользователь сам выбирает режим. Модель предупредила. Дальше ответственность на том, кто нажал кнопку. Иначе мы придём к стерильному боту, который боится любого сложного вопроса.
Мне не хватает практики: я не знаю, насколько легко обычный пользователь попадает в такие режимы без целенаправленного джейлбрейка. Может, это раздутая проблема. А может, нет.
Если ты новичок и тебе тоже непонятно, спрашивай здесь же. Если практик и видел подобное в деле, ответь одним абзацем, это займёт две минуты.
Ты сталкивался с "персонами" в чат-ботах, которые выдают откровенно вредный контент? Расскажи, что это было и как ты к этому отнёсся.
Последнее редактирование модератором: