По мере того, как большие языковые модели (LLM) становятся все более влиятельными, обеспечение их безопасности и предотвращение вредоносного вывода становится критически важным. Автоматизированная красная команда служит инструментом для обнаружения уязвимостей безопасности в LLM без ручного труда. Однако большинству существующих методов трудно сбалансировать эффективность и разнообразие подсказок для атаки, генерируемых красной командой. Чтобы решить эту проблему, мы предлагаем наш подход — новую автоматизированную систему обучения «красной команде», которая использует обучение с подкреплением для изучения и создания более эффективных подсказок для атак, одновременно балансируя их разнообразие. В частности, он состоит из трех этапов обучения: (1) Холодный старт: модель красной команды контролируется и настраивается на наборе данных для взлома, полученном посредством имитационного обучения. (2) Разминочное исследование: модель обучается следовать инструкциям по взлому и исследовать, используя разнообразие и последовательность в качестве сигналов вознаграждения. (3) Улучшенный джейлбрейк: введены прогрессивные награды за джейлбрейк, чтобы постепенно повысить производительность джейлбрейка модели «красной команды». Обширные эксперименты с различными LLM показывают, что наш подход эффективно уравновешивает разнообразие и эффективность подсказок о джейлбрейке по сравнению с…
Модальности:
Генерация текста
Области применения:
Диалог / чат Юриспруденция
Задача: Генерация текста
Автор: yukiyounai
Теги: qwen2, legal, conversational
Лайков: 6 | Загрузок: 97
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
