llama.cpp — собственное квантование GGUF Qwen3.6-27B-PRISM-PRO с использованием рецепта динамического квантования (DQ) проекта PRISM. ~13,7 ГБ (против 55 ГБ в BF16). PRISM-PRO Qwen/Qwen3.6-27B (удаление предвзятости/пропоганды) Этот GGUF сохраняет родную для модели черновую головку MTP + полнофункциональную башню и сочетается с отдельно опубликованным чертежником EAGLE-3 для более быстрого декодирования без потерь. llama.cpp на одном графическом процессоре NVIDIA Blackwell, однопотоковое жадное декодирование: спекулятивное декодирование осуществляется без потерь (выходной токен идентичен жадному неспецифицированному, неассоциативность с плавающей запятой с пакетной проверкой по модулю, присущая декодированию всех спецификаций). Для более быстрого развертывания SGLang (~ 183 ток/с, ~ 1,97× по сравнению с нулевой спецификацией) с использованием цели BF16 + EAGLE-3 см. репозиторий черновика. — База: Qwen/Qwen3.6-27B (гибрид: 48 слоев линейного внимания GatedDeltaNet + 16 слоев полного внимания; скрытый 5120; словарный запас 248 320; собственная голова MTP). — Динамическое квантование PRISM: рецепт PRISM DQ (динамический квант llama.cpp GGUF) — сохраняет черновую головку MTP (15 тензоров) и башню полного обзора (333 тензора).
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: Ex0bit
Теги: gguf, quantized, dynamic-quant, qwen3, llama.cpp, speculative-decoding, endpoints_compatible, conversational
Лайков: 12 | Загрузок: 243
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
