Этот репозиторий содержит веса моделей как в стандартном формате Llama, так и в формате трансформаторов Hugging Face. Llama-Guard — это защитная модель ввода-вывода на основе параметров 7B Llama 2. Его можно использовать для классификации контента как во входных данных LLM (оперативная классификация), так и в ответах LLM (классификация ответов). Он действует как LLM: на выходе он генерирует текст, который указывает, является ли данное приглашение или ответ безопасным или небезопасным, а если он небезопасен в зависимости от политики, он также перечисляет нарушающие подкатегории. Вот пример: чтобы получить оценки классификатора, мы смотрим на вероятность первого токена и превращаем ее в «небезопасную» вероятность класса. Пользователи модели могут затем принимать двоичные решения, применяя желаемый порог к оценкам вероятности. Мы используем сочетание подсказок, полученных из набора данных Anthropic, и примеров Redteaming, которые мы собрали собственными силами, в отдельном от производственного процесса Redteaming процессе. В частности, мы взяли подсказки только из набора данных Anthropic и сгенерировали новые ответы на основе наших собственных моделей LLaMA, используя методы взлома для получения ответов, нарушающих правила. Затем мы аннотировали антропные данные (подсказки и ответы) самостоятельно,…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: llamas-community
Теги: llama, llama-2, conversational, en, text-generation-inference, endpoints_compatible
Лайков: 13 | Загрузок: 1,102
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
