Это квантование MXFP4_MOE модели Qwen3-Coder-Next. По состоянию на 17 февраля 2026 г. я обновил модель до кванта MXFP4 более высокого качества. Основной стандарт — использовать MXFP4 для тензоров MoE и Q8 для остальных. Поэтому я создал 2 новых варианта, в которых другие тензоры — либо BF16, либо FP16 вместо Q8. Порядок предпочтения: BF16, затем F16. На некоторых архитектурах BF16 будет медленнее, но он высочайшего качества, по сути, это оригинальные тензоры из модели, скопированные в неквантованном виде.
Модальности:
Генерация текста
Области применения:
Диалог / чат Генерация кода
Задача: Генерация текста
Автор: noctrex
Теги: gguf, endpoints_compatible, conversational
Лайков: 20 | Загрузок: 1,305
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
