Soomin33/Qwen3.8-Flash-Next-FP6 - Каталог нейросетей
Генерация текста

Soomin33/Qwen3.8-Flash-Next-FP6

Добавлено:
Soomin33/Qwen3.8-Flash-Next-FP6

Квантование сообщества графических процессоров Qwen3.8-Flash-Next с таргетингом 2×64 ГБ с таблицей вложений n-грамм/PLE с параметром 51B, обслуживаемой из ОЗУ хоста. > Доказательство: эта модель была квантована из официального выпуска FP8 > (Qwen/Qwen3.8-Flash-Next-FP8, мелкозернистый fp8, размер блока 128) — не > из исходных весов BF16. Тензоры, перечисленные ниже как bf16, представляют собой bf16 > контейнеры, содержащие значения, унаследованные от этой контрольной точки FP8. Таблица n-gram > поставляется в fp8 e4m3 в официальном выпуске; этот репозиторий только перекладывает его > в плоский файл коляски — его значения не меняются. Проверяется по заголовкам предохранителей высвобожденного контрольно-пропускного пункта. Итого: 180 В параметров, ≈147 Гб на диске (≈6,6 бит/парам КПП, ≈7,0 бит/парам суммарно). Нигде нет кэша KV или квантования активации; во время выполнения используется состояние bf16 KV и fp32 GDN/mamba. — Ядро Triton fp6 dequant имеет битовую точность по отношению к эталонному кодеру для всех 64 значений кодовой книги. — Относительная среднеквадратическая ошибка экспертного веса по сравнению с источником FP8: 0,0244 (предсказанная 0,0245 датчиком выбора кода; e2m3 была выбрана по сравнению с e3m2 и int6 по измеренной ошибке GEMM-пространства, а не по ошибке весового пространства). — Сплавленные ядра MoE, проверенные по ссылке на горелку на том же…

Модальности:
Генерация текста

Области применения:
Диалог / чат


Задача: Генерация текста
Автор: Soomin33
Теги: qwen4_exp, fp6, quantized, mixture-of-experts, sglang, n-gram-embedding, conversational, 8-bit
Лайков: 3  |  Загрузок: 113

Открыть на HuggingFace →

Описание основано на материалах HuggingFace. Перевод выполнен автоматически.