Квантование NVFP4 (4-битное) zai-org/GLM-5.2, созданное с помощью NVIDIA TensorRT Model Optimizer 0.44.0. Экспертные FFN MoE (маршрутизируемые + общие) преобразуются в NVFP4; Внимание (MLA + индексатор Lightning DSA в стиле DeepSeek), маршрутизатор и головка LM хранятся в BF16. Это сокращает контрольную точку с 1,5 ТБ → 410 ГБ (~3,7×), сохраняя при этом точность GSM8K в пределах ~2 баллов от BF16. GLM-5.2 представляет собой модель glmmoedsa: внимание MLA в стиле DeepSeek-V3.2 + индексатор разреженного внимания DSA, с 256 маршрутизируемыми экспертами + 1 общим экспертом MoE (8 экспертов на токен), 78 слоев, скрытые 6144, словарь 154880. Все тесты выполнялись через SGLang и оценивались с помощью lm-evaluation-harness на том же уровне. оборудование и жгуты как для NVFP4, так и для BF16 (генеративный/цепочка мыслей, где это применимо; maxgentoks поднят для соответствия цепочкам рассуждений — значение 256 lm-eval по умолчанию усекает их и суммирует оценки). NVFP4 уверенно справляется с жесткими ненасыщенными тестами: GPQA-Diamond и MATH-500 находятся в пределах шума BF16, а среднее ухудшение по всему пакету составляет ~ 1 балл — для контрольной точки в 3,7 раза меньше. — Формат: NVFP4 (веса FP4 + блочные весы FP8), размер блока/группы 16, производитель модели. — Квантовано: mlp.experts. (256…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: Mapika
Теги: glm_moe_dsa, nvfp4, fp4, quantization, modelopt, tensorrt, moe, glm
Лайков: 6 | Загрузок: 11,463
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.