Квантование INT4 (W4A16) Qwen/Qwen3.8-27B построено специально для того, чтобы модель работала на графических процессорах Pre-Hopper, включая Volta (V100, sm70), которые не могут работать с официальным выпуском FP8, с полностью неповрежденной и работающей** нативной MTP-декодирующей головкой модели. 51,7 ГБ BF16 → 25,8 ГБ. Подходит и служит на 2× V100 32 ГБ (TP2) с полным контекстом 256K и на любом графическом процессоре Ampere через стандартные ядра со сжатыми тензорами vLLM. Quantized to INT4, symmetric, groupsize 128, compressed-tensors pack-quantized (RTN): — text-decoder selfattn.{q,k,v,o}proj (the 16 full-attention blocks) — text-decoder mlp.{gate,up,down}proj (all 64 layers) Keeped in full precision (BF16/FP16): — the whole MTP head (mtp.) — this is what keeps native speculative decoding working. (Мы A/B’d против откалиброванного количества сообщества AWQ GPTQ той же модели: он загружается нормально, но его приемка MTP сворачивается до ~ 1,0 — проекты всегда отклоняются — скорость резки ~3×. Plain symmetric RTN with an untouched MTP head wins end-to-end.) — all hybrid linear-attention / Gated-DeltaNet tensors (linearattn.inproj, outproj, conv1d, Alog, dtbias) — the vision tower (visual.), embeddings, lmhead, all norms Symmetric-only on purpose: asymmetric INT4…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: Israeli-AI
Теги: qwen3_5, w4a16, compressed-tensors, int4, volta, v100, sm70, mtp
Лайков: 3 | Загрузок: 265
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
