— Using non-standard (forked) LLaMA C++ branch for quantization. — Using a CLI tool to build KLD evaluation and imatrix calibration datasets for GGUF models, sourced from eaddario/imatrix-calibration. — Using dataset sources: tools, math, code, texten, textru. — Using dataset chunks: 750. — Tensors quantinization F16 instead of BF16, Nvidia Pascal architecture friendly like P100. — Small set of patches added.
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: ENOSYS
Теги: gguf, moe, ru, en, endpoints_compatible, imatrix, conversational
Лайков: 3 | Загрузок: 1,529
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.