Исходная модель: https://huggingface.co/xxx777xxxASD/L3.1-ClaudeMaid-4x8B, созданная с помощью https://huggingface.co/FantasiaFoundry/GGUF-Quantization-Script. Модели Q2KL, Q4KL, Q5KL, Q6KL используют выходные тензоры Q_8 и встраивание токенов.
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: Reiterate3680
Теги: gguf, en, endpoints_compatible, imatrix, conversational
Лайков: 5 | Загрузок: 140
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.