Квантование NVFP4 Qwen3.6-27B с помощью головок Multi-Token Prediction (MTP), преобразованное в формат GGUF с использованием llama.cpp. Это квантование специально оптимизировано для потребительских/периферийных графических процессоров NVIDIA Blackwell (sm120/sm121), таких как RTX 5090 и DGX Spark (GB10). NVFP4 использует собственный 4-битный блочный формат с плавающей запятой NVIDIA с масштабированием E4M3, обеспечивая значительно более быстрый вывод, чем стандартные кванты Q4_K на оборудовании Blackwell, благодаря аппаратному деквантованию. Qwen/Qwen3.6-27B — вариант MTP на основе unsloth/Qwen3.6-27B-GGUF NVFP4 — это собственный 4-битный формат с плавающей запятой NVIDIA для графических процессоров Blackwell. В отличие от стандартного целочисленного квантования (Q4K, Q5K и т. д.), NVFP4 использует блочную плавающую запятую с масштабными коэффициентами E4M3 и деквантуется непосредственно тензорными ядрами графического процессора. Это означает: — Более быстрый вывод: аппаратное деквантование устраняет накладные расходы на преобразование целых чисел в числа с плавающей точкой — Меньшая пропускная способность памяти: 4,60 BPW против 10,47 BPW (Q8KXL) — В 2,3 раза меньше данных на токен — Хорошее качество: NVFP4 использует масштабирование для каждого подблока (32 элемента на подблок), что сохраняет больше информации, чем равномерное 4-битное квантование. Эта модель включает прогнозирование MTP. head из Qwen3.6, позволяющий спекулятивное декодирование…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: s-batman
Теги: gguf, llama.cpp, quantized, nvfp4, mtp, qwen, qwen3.6, dgx-spark
Лайков: 6 | Загрузок: 1,368
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
