— Using non-standard (forked) LLaMA C++ branch for quantization. — Using a CLI tool to build KLD evaluation and imatrix calibration datasets for GGUF models, sourced from eaddario/imatrix-calibration. — Using dataset sources: tools, math, code, texten, textru. — Using dataset chunks: 750. — Tensors quantinization F16 instead of BF16, Nvidia Pascal architecture friendly like P100. — Small set of patches added.
Модальности:
Генерация текста
Области применения:
Диалог / чат Мультиязычность
Задача: Генерация текста
Автор: ENOSYS
Теги: gguf, glm4, moe, heretic, uncensored, decensored, abliterated, en
Лайков: 4 | Загрузок: 180
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.