Quant generated from: https://huggingface.co/Orenguteng/Llama-3.1-8B-Lexi-Uncensored-V2 The original GGUF quants provided by Orenguteng (https://huggingface.co/Orenguteng/Llama-3.1-8B-Lexi-Uncensored-V2-GGUF) did not include a Q6_K, thus I generated one. At 6.6 GB the Q6_K is a great high quality option for 8GB GPUs.
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: Spaceballs
Теги: gguf, GGUF, Llama, quantization, endpoints_compatible, conversational
Лайков: 3 | Загрузок: 130
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.