felippeburk/Qwen3.8-27B-NVFP4-MTP-GGUF

NVFP4 квантовал Qwen3.8-27B со слоями драфта MTP (multi-token prediction), упакованными в виде одного GGUF для спекулятивного декодирования llama.cpp на графических процессорах Blackwell (RTX 5090 / 5080). — Квантование: NVFP4 (вес кэша KV), преобразованный в GGUF через llama.cpp converthftogguf.py —outtype auto — MTP draft layers included — enable —spec-type draft-mtp —spec-draft-n-max 2 in llama.cpp for speculative decoding — Multimodal: pairs with the mmproj-F16.gguf vision projector (from unsloth/Qwen3.8-27B-GGUF) — Single file: qwen3.8-27b-text-nvfp4-mtp.gguf ` (~19 GB) — Source weightes: sakamakismile/Qwen3.8-27B-MTP-NVFP4 (Apache-2.0) — this repo is a mechanical GGUFF Сценарий преобразования находится в репозитории felippeburk/rtx-5090-cachyos-testing: Шаг преобразования: llama.cpp/converthftogguf.py —outfile qwen3.8-27b-text-nvfp4-mtp.gguf —outtype auto`, выполняется с трансформаторами горелки в изолированном венве. Воспроизводимость с исходных предохранителей в любое время. — Режим мышления требует щедрого выходного бюджета. Это…

Модальности:
Генерация текста

Области применения:
Диалог / чат

Задача: Генерация текста
Автор: felippeburk
Теги: gguf, qwen3_5, nvfp4, mtp, speculative-decoding, blackwell, llama.cpp, endpoints_compatible
Лайков: 3  |  Загрузок: 336

Открыть на HuggingFace →

Описание основано на материалах HuggingFace. Перевод выполнен автоматически.