Текстовая квантизация Qwen/Qwen3.8-27B со смешанной точностью, созданная для соответствия строгому ограничению в 20 000 000 000 байт всего репозитория. AQUA устанавливает цену для каждого линейного элемента независимо, включая ошибку активации, которая важна для NVFP4 W4A4. Несвязанный lmhead и все восемь линейных элементов MTP имеют формат FP8 E4M3. Визуальная башня физически отсутствует. Это стандартная контрольная точка сжатых тензоров. Vanilla vLLM предоставляет её без плагинов PrismaQuant или Gridbook. Final local artifact size: 19974332758 bytes. Including the Hub-managed 1,570-byte .gitattributes, the remote repository is 19974334328 bytes (19.974334328 decimal GB), leaving 25665672 bytes below the limit. The gold measurements use the exported bytes, no speculative decoding, and the same pinned vLLM stack. The BF16 comparisons use the exact Qwen3.8 source revision recorded under Provenance. For KL, every position retains the teacher’s top-1,024 probabilities plus one bucket for all residual probability mass. Mean top-1,024 coverage is 0.9880 (minimum 0.5729). Lumping outcomes can only reduce KL, so this is a lower bound on exact full-vocabulary KL. The full distribution, including p99 and maximum, is reported because a mean alone hides…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: rdtand
Теги: vllm, qwen3_5_text, prismaquant, prismascout, prismaaqua, aqua, compressed-tensors, nvfp4
Лайков: 3 | Загрузок: 113
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
