Converted to BF16 using converthftogguf.py, then quantized using llama-quantize` from llama.cpp. Use in conjunction with existing Gemma 4 Quants, example config if using llama-server: (Note: For some reason I cannot get sm = tensor to work, it crashes on launch, pretty sure this is an issue in llama.cpp) See the original model card for details on capabilities, benchmarks, and license.
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: Alittlehammmer
Теги: gguf, quantized, llama.cpp, agentic-coding, dflash, endpoints_compatible, conversational
Лайков: 3 | Загрузок: 465
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.