Мои собственные (ZeroWw) квантования. выходные и встроенные тензоры квантованы на f16. все остальные тензоры квантованы на q5k или q6k. Результат: как f16.q6, так и f16.q5 меньше, чем стандартное квантование q8_0, и они работают так же хорошо, как и чистый f16.
Модальности:
Генерация текста
Задача: Генерация текста
Автор: ZeroWw
Теги: gguf, en, endpoints_compatible
Лайков: 3 | Загрузок: 109
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
MediaTek Research Breeze-7B (далее — Breeze-7B) — это семейство языковых моделей, созданное на базе Mistral-7B и специально предназначенное...
Идеально подходит для работы в системе с двумя графическими процессорами, такой как 2×3090, с vLLM или SGlang: vllm...
Stable LM 2 12B Chat — это языковая модель с 12 миллиардами параметров, настроенная на команды, обученная на...
Model collection | Technical report | Training code (coming soon) | Evaluation code NCP-ArchPreview is a latent-space autoregressive...
