JAILJUDGE: Комплексный тест судьи по джейлбрейку с многоагентной усовершенствованной системой оценки объяснений Хотя значительные исследовательские усилия были направлены на повышение безопасности больших языковых моделей (LLM) путем понимания и защиты от атак джейлбрейка, оценка защитных возможностей LLM против атак джейлбрейка также привлекает большое внимание. Современным методам оценки не хватает объяснимости и они плохо обобщаются для сложных сценариев, что приводит к неполным и неточным оценкам (например, прямое суждение без объяснимости рассуждений, оценка F1 судьи GPT-4 составляет только 55% в сложных сценариях и оценка предвзятости в многоязычных сценариях и т. д.). Для решения этих проблем мы разработали комплексный тест оценки JAILJUDGE, который включает в себя широкий спектр сценариев риска со сложными вредоносными подсказками (например, синтетические, состязательные, дикие и многоязычные сценарии и т. д.), а также высококачественные аннотированные человеком тестовые наборы данных. В частности, набор данных JAILJUDGE содержит данные обучения JAILJUDGE, с более чем 35 тыс. данных обучения по настройке инструкций с объяснимостью рассуждений, и JAILJUDGETEST, 4,5 тыс. …
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: usail-hkust
Теги: llama, conversational, text-generation-inference, endpoints_compatible
Лайков: 4 | Загрузок: 797
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
