Эта модель предназначена для простого локального вывода данных о процессорах и графических процессорах с использованием программного обеспечения на основе llama.cpp, такого как LM Studio и Ollama. Модель воплощает доминирующую, напористую и творческую личность для ролевых игр и рассказывания историй. Он был точно настроен на многооборотном диалоговом наборе данных, чтобы улучшить его связность и память. Исходная модель LoRA: samunder12/llama-3.1-8b-roleplay-v3-lora Квантование: Q4KM. Этот метод обеспечивает отличный баланс между размером модели, производительностью и использованием VRAM/RAM. Длина контекста: 4096 токенов. 1. Загрузите и установите LM Studio. 2. В приложении найдите репозиторий этой модели: samunder12/llama-3.1-8b-roleplay-v3-gguf. 3. Загрузите файл GGUF, указанный на вкладке «Файлы». 4. Перейдите на вкладку «Чат» (значок 💬) и загрузите только что скачанную модель. 5. ВАЖНО: на правой панели в разделе «Формат подсказки» выберите пресет Llama 3. 6. Установите длину контекста (nctx) на 4096**. 7. Для достижения наилучших результатов используйте приведенные ниже настройки сэмплера «Ролевая игра».
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: samunder12
Теги: gguf, llama, roleplay, rp, character, peft, endpoints_compatible, conversational
Лайков: 5 | Загрузок: 134
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
