inclusionAI/Ling-3.1-flash の公式FP8を出発点に、SGLang専用のNVFP4保存版を作り、そこへweights-only abliteration (T24) を焼き込み、さらにNEXTN 3-stepのMTP draftを同梱した保存版です。 通常のHugging Face量子化モデルではありません。vLLM/Transformers/GGUFでそのまま動く形式でもありません。 固定SGLang image・TP4/EP4・同梱patch・記載のGPU世代を維持した場合のみ再現できます。 draft/ は本体の model.wordembeddings / lmhead を共有する前提で、model.layers.72. だけを持ちます。量子化configは取り除いてあります（unquant として読ませるため）。 このリポジトリは public です。 設定・patch・実測・検証JSONは private GitHub repo (hikarioyama/ling-3.1-flash-nvfp4-ablitrated-mtp-rtx-pro-6000-tp4) に置いています。 — routed MoE expert: NVFP4（group size 16、E4M3 block scale、MSE 4over6）。packed U8 で保持。 — shared expert: 公式FP8のブロックスケールを正しく適用して BF16へ復元。学習元BF16を回復したものではありません。 — それ以外の層: 元のFP8/BF16/F32をほぼ維持。 — KV cache: fp8e4m3、scaleは未校正の既定1.0**。主にMLA 9層が対象で、KDA 63層の固定状態をFP8化したものではありません。 — 校正データによるGPTQ/AWQ等は未実施。ビット一
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: Hikari07jp
Теги: sglang, bailing_hybrid, ling, ling-3.1-flash, nvfp4, fp8, sm120, moe
Лайков: 3 | Загрузок: 328
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
