Мы представляем SGuard-v1, легкое защитное ограждение для моделей большого языка (LLM), которое состоит из двух специализированных моделей, предназначенных для обнаружения вредоносного контента и фильтрации состязательных подсказок в диалоговых настройках человека и искусственного интеллекта. Сохраняя размер облегченной модели, SGuard-v1 также улучшает интерпретируемость для дальнейшего использования, предоставляя прогнозы безопасности нескольких классов и их двоичные оценки достоверности. Здесь мы выпускаем весы SGuard-v1 под лицензией Apache-2.0, чтобы обеспечить дальнейшие исследования и практическое внедрение в области безопасности ИИ. В этом репозитории размещен SGuard-JailbreakFilter-2B, который обеспечивает: — Широкий охват известных методов взлома путем уточнения данных о взломе, собранных из открытых источников, и создания собственных подсказок. — Дополнительный метод настройки для предотвращения ложных срабатываний, ухудшающих удобство использования пользователем. Наша новая модель SGuard-JailbreakFilter-2B обучается по тщательно разработанной учебной программе с использованием интегрированных наборов данных и результатов предыдущих исследований по состязательным подсказкам, охватывающим 60 основных типов атак и одновременно снижающим количество ложных небезопасных атак. JailbreakFilter построен на модели IBM Granite 3.3 2B: упаковка 2 миллиардов параметров и длина контекста 128 КБ…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: SamsungSDS-Research
Теги: granite, language, jailbreak, granite-3.3-instruct, conversational, en, ko
Лайков: 16 | Загрузок: 222
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
