Это квантованная версия мета-ламы/Llama-Guard-3-1B, созданная с использованием llama.cpp. Llama Guard 3-1B представляет собой тщательно настроенную предварительно обученную модель Llama-3.2-1B для классификации безопасности контента. Подобно предыдущим версиям, его можно использовать для классификации контента как во входных данных LLM (классификация подсказок), так и в ответах LLM (классификация ответов). Он действует как LLM — на выходе генерирует текст, который указывает, является ли данное приглашение или ответ безопасным или небезопасным, а если небезопасно, он также перечисляет нарушенные категории контента. Llama Guard 3-1B был адаптирован для защиты от стандартизированной таксономии опасностей MLCommons и разработан для снижения затрат на развертывание системы модерации по сравнению с его предшественниками. Он поставляется в двух версиях: 1B и 1B с обрезкой и квантованием, оптимизированных для развертывания на мобильных устройствах. Этот репозиторий содержит две версии Llama-Guard-3-1B: для использования с трансформерами и с исходной кодовой базой llama. Получив доступ к весам моделей, перейдите в соответствующий раздел. Начиная с преобразователей >= 4.43.0 и далее, вы можете выполнить вывод, чтобы оценить последний ответ пользователя или помощника в многоходовом разговоре. В этом фрагменте будут использоваться категории…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: QuantFactory
Теги: gguf, facebook, meta, llama, llama-3, en, de, fr
Лайков: 7 | Загрузок: 511
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
