Это квантованная версия GGUF доработанной модели Llama 3.1 8B Instruct, предназначенная для динамичных постобучающих Llama-3.1-8B, в основном для создания историй и менее разговорных ролевых игр. Эта модель была доработана с помощью Unsloth на тщательно подобранном наборе данных, состоящем из более чем 300 примеров, предназначенных для имитации стиля чата «быстрого ответа», аналогичного платформам типа Character.AI. Персонаж доминантный, напористый и прямой, использует сочетание выразительных действий и краткого диалога. Этот репозиторий содержит версию Q4KM GGUF, которая предлагает отличный баланс качества и производительности для локального вывода. — Базовая модель: unsloth/Meta-Llama-3.1-8B-Instruct-bnb-4bit — Исходная модель LoRA: samunder12/llama-3.1-8b-roleplay-v4-lora — Метод тонкой настройки: PEFT (LoRA) с оптимизацией производительности Unsloth. — Ранг LoRA (r): 32 — Формат: GGUF — Квантование: Q4KM 1. Поиск: найдите эту модель (samunder12/llama-3.1-8b-roleplay-BSNL-gguf) на главном экране LM Studio. 2. Загрузка: Загрузите файл llama3BSNL.Q4KM.gguf. 3. Загрузить: перейдите на вкладку «Чат» (значок 💬) и вверху выберите эту модель для загрузки. 4. Установите формат подсказки: на правой панели в разделе «Предустановки» выберите «Llama 3». Это важный момент…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: samunder12
Теги: gguf, llama, roleplay, rp, character, peft, unsloth, bitsandbytes
Лайков: 10 | Загрузок: 860
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
