YuYu1015/Huihui-Qwen3.6-27B-abliterated-int4-AutoRound

———— ——————————————————————————————- | Следующие слои не квантуются для сохранения качества модели: > Зачем декантировать mtp.fc? Загрузчик Qwen35MTP от vLLM ожидает неквантованных весов для слоя проекции MTP. AutoRound квантует его во время основного прохода; затем мы преобразуем его обратно в BF16 на этапе постобработки, чтобы спекулятивное декодирование MTP работало изначально. INVALID LANGUAGE PAIR SPECIFIED. EXAMPLE: LANGPAIR=EN|IT USING 2 LETTER ISO OR RFC3066 LIKE ZH-CN. ALMOST ALL LANGUAGES SUPPORTED BUT SOME MAY HAVE NO CONTENT — Use —quantization autoround for Marlin INT4 kernel (SM121 compatible via SM120 binary compat) — FP8 KV cache is not compatible with GDN non-causal attention layers; use —kv-cache-dtype auto — NVFP4 fall back to Marlin W4A16 on SM121 (missing cvt.e2m1x2 PTX instruction) — INT4 AutoRound has no such fallback problem — Runtime FP8 (—quantization fp8) is not compatible with DFlash (drafter inherits…

Модальности:
Генерация текста

Области применения:
Диалог / чат

Задача: Генерация текста
Автор: YuYu1015
Теги: qwen3_5, image-text-to-text, qwen3.6, dense, 4-bit, int4, auto-round, gptq
Лайков: 3  |  Загрузок: 115

Открыть на HuggingFace →

Описание основано на материалах HuggingFace. Перевод выполнен автоматически.