Это версия Llama 3.1 70B Instruct без цензуры, созданная с помощью аблитерации (подробнее об этом читайте в этой статье) по рецепту @grimjim. Точнее, это удаленная (лорабированная) модель LoRA: 1. Извлечение: мы извлекаем адаптер LoRA путем сравнения двух моделей: подвергнутой цензуре Llama 3 и удаленной Llama 3. 2. Слияние: мы объединяем этот новый адаптер LoRA, используя арифметику задач, с подвергнутой цензуре Llama 3.1, чтобы уничтожить ее. Я адаптировал этот рецепт к Llama 3.1 70B, используяfailspy/Meta-Llama-3-70B-Instruct-abliterated-v3.5, и оптимизировал ранг LoRA. Модель полностью не прошла цензуру в моих тестах и поддерживает высокий уровень качества. По-прежнему необходима более строгая оценка, чтобы измерить влияние этого процесса на контрольные показатели. Особая благодарность @grimjim за эту технику (см. его модель 8B) и @FailSpy за его удаленную модель 70B. Пожалуйста, следуйте им, если вас интересуют удаленные модели. Кроме того, спасибо brev.dev за предоставленные мне вычислительные ресурсы! Ролевая игра общего назначения (см. отзыв МакУХ). Используйте шаблон чата Llama 3. GGUF: https://huggingface.co/mlabonne/Llama-3.1-70B-Instruct-lorablated-GGUF Бартовски:…
Модальности:
Генерация текста
Области применения:
Диалог / чат Следование инструкциям
Задача: Генерация текста
Автор: mlabonne
Теги: llama, abliterated, uncensored, mergekit, conversational, text-generation-inference, endpoints_compatible
Лайков: 77 | Загрузок: 457
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
