Аннотация: По-настоящему многоязычной безопасной модерации для больших языковых моделей (LLM) препятствует узкая ориентация на небольшой набор языков (например, английский, китайский), а также ограниченный объем определений безопасности, что приводит к значительным пробелам в возможностях модерации. Чтобы устранить эти пробелы, мы выпускаем PolyGuard, новую современную многоязычную модель безопасности для защиты поколений LLM, а также соответствующие наборы данных для обучения и оценки. PolyGuard проходит обучение на PolyGuardMix, крупнейшем на сегодняшний день многоязычном корпусе обучения технике безопасности, содержащем 1,91 млн образцов на 17 языках (например, китайском, чешском, английском, хинди). Мы также представляем PolyGuardPrompts, высококачественный многоязычный тест с 29 тысячами образцов для оценки ограждений безопасности. Наши наборы данных, созданные путем объединения естественного многоязычного взаимодействия человека с LLM и проверенных человеком машинных переводов набора данных по безопасности только на английском языке (WildGuardMix; Han et al., 2024), содержат пары «подсказка-вывод» с метками вредности подсказки, вредности ответа и отказа в ответе. Благодаря обширным оценкам по многочисленным критериям безопасности и токсичности мы демонстрируем, что PolyGuard…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: ToxicityPrompts
Теги: qwen2, text2text-generation, conversational, ar, cs, zh, nl, en
Лайков: 6 | Загрузок: 15,864
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
