Этот репозиторий содержит объединение предварительно обученных языковых моделей, созданных с помощью mergekit. Применение аблитерации LoRA, заимствованной из Llama 3, частично помогло снизить количество отказов и повысить соответствие в квалифицированных контекстах гипотетических и ролевых игр. Базовая безопасность выглядит неизменной. Мы предполагаем, что процесс дистилляции обеспечил дополнительную безопасность, закодированную таким образом, который отличался от уничтожения, первоначально нацеленного на Failspy/Meta-Llama-3-8B-Instruct-abliterated-v3 против Llama 3. Частичная эффективность является доказательством общего модельного происхождения между Llama 3 и Llama 3.1, хотя мы не осведомлены о конкретных деталях. Эта модель была объединена методом сквозного слияния с использованием в качестве основы arcee-ai/Llama-3.1-SuperNova-Lite + grimjim/Llama-3-Instruct-abliteration-LoRA-8B. Для создания этой модели использовалась следующая конфигурация YAML:
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: grimjim
Теги: llama, mergekit, merge, conversational, text-generation-inference, endpoints_compatible
Лайков: 8 | Загрузок: 6
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
