WildGuard — это открытая модель комплексной модерации, которая достигает трех целей: 1) Обнаружение вреда в подсказках пользователей. 2) Обнаружение вреда в ответах LLM. 3) Отказ от оценки ответов LLM. Наши всесторонние оценки WildGuardTest и десяти существующих общедоступных тестов показывают, что WildGuard превосходит самые сильные существующие базовые тесты с открытым исходным кодом (включая Llama-Guard2 и Aegis-Guard) по баллам F1 во всех трех задачах (до 25,3% при обнаружении отказа), соответствует GPT-4 во всех задачах и превосходит GPT-4 до 4,8% по вредоносности состязательных подсказок. Для получения более подробной информации прочитайте статью: WildGuard: открытые универсальные инструменты модерации для рисков безопасности, взлома и отказа от LLM. — Тип модели: модель безопасной модерации, обученная на синтетических и созданных человеком наборах данных. — Язык(и): английский — Лицензия: Apache 2.0 — Доработано на основе модели: mistralai/Mistral-7B-v0.3 Категории риска высокого уровня, охватываемые WildGuard: 1) Конфиденциальность, 2) Дезинформация, 3) Вредные выражения и 4) Злонамеренное использование. Каждая категория имеет набор подкатегорий, всего 13 подкатегорий. — Конфиденциальность: 1) Конфиденциальная информация (Организация), 2) Частная информация (Частное лицо), 3) Авторские права…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: allenai
Теги: mistral, classifier, safety, moderation, llm, lm, en, text-generation-inference
Лайков: 40 | Загрузок: 71,284
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
