Квантование сообщества графических процессоров Qwen3.8-Flash-Next с таргетингом 2×64 ГБ с таблицей вложений n-грамм/PLE с параметром 51B, обслуживаемой из ОЗУ хоста. > Доказательство: эта модель была квантована из официального выпуска FP8 > (Qwen/Qwen3.8-Flash-Next-FP8, мелкозернистый fp8, размер блока 128) — не > из исходных весов BF16. Тензоры, перечисленные ниже как bf16, представляют собой bf16 > контейнеры, содержащие значения, унаследованные от этой контрольной точки FP8. Таблица n-gram > поставляется в fp8 e4m3 в официальном выпуске; этот репозиторий только перекладывает его > в плоский файл коляски — его значения не меняются. Проверяется по заголовкам предохранителей высвобожденного контрольно-пропускного пункта. Итого: 180 В параметров, ≈147 Гб на диске (≈6,6 бит/парам КПП, ≈7,0 бит/парам суммарно). Нигде нет кэша KV или квантования активации; во время выполнения используется состояние bf16 KV и fp32 GDN/mamba. — Ядро Triton fp6 dequant имеет битовую точность по отношению к эталонному кодеру для всех 64 значений кодовой книги. — Относительная среднеквадратическая ошибка экспертного веса по сравнению с источником FP8: 0,0244 (предсказанная 0,0245 датчиком выбора кода; e2m3 была выбрана по сравнению с e3m2 и int6 по измеренной ошибке GEMM-пространства, а не по ошибке весового пространства). — Сплавленные ядра MoE, проверенные по ссылке на горелку на том же…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: Soomin33
Теги: qwen4_exp, fp6, quantized, mixture-of-experts, sglang, n-gram-embedding, conversational, 8-bit
Лайков: 3 | Загрузок: 113
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.