ZeroAgency/Zero-Mistral-24B-gguf

Quants available: — BF16 — F16 — IQ4NL — IQ4NLL — same as above but with —leave-output-tensors — IQ4XS — IQ4XSL — same as above but with —leave-output-tensors — Q4KM — Q4KML — same as above but with —leave-output-tensors — Q6K — Q6KL — same as above but with —leave-output-tensors — Q80 — quantized from bf16 gguf — Q80-direct — direct convertation from hf — Q80L — quantized from bf16 but with —leave-output-tensors

Модальности:
Генерация текста

Области применения:
Диалог / чат

Задача: Генерация текста
Автор: ZeroAgency
Теги: llama.cpp, gguf, mistral, chat, conversational, ru, en, endpoints_compatible
Лайков: 4  |  Загрузок: 294

Открыть на HuggingFace →

Описание основано на материалах HuggingFace. Перевод выполнен автоматически.