Массы квантуют до INT4 (размер группы 128); активации выполняют в BF16. Результатом является контрольная точка объемом 388 ГБ — примерно в 3,9 раза меньше, чем оригинал BF16 объемом 1,5 ТБ — которая помещается на одном узле 8×A100 (80 ГБ), сохраняя при этом полноценное качество рассуждений и тестов знаний. Поскольку вычисления остаются в BF16, и только веса INT4, эта модель работает на NVIDIA Ampere (A100) и новее — она не требует поддержки Hopper/Blackwell FP8. — Качество соответствует высвобождению FP8 — нет измеримой деградации (см. ниже). — ~ 3,9раза меньше, чем BF16: 388 ГБ против 1,5 ТБ. — Работает на A100 (Ампер) — аппаратное обеспечение FP8 не требуется. — Подается из коробки с VLLM (формат сжатых тензоров). Оценивается в сравнении с эталонным развертыванием FP8 GLM-5.2. Жадное декодирование (температура 0); трассировки рассуждений зачищены, а окончательный ответ оценен. W4A16 соответствует эталону FP8 в пределах оценочного шума (n=200, стандартная ошибка ≈ 2 балла). Вывод — четность — 4-разрядное квантование сохраняет способность рассуждений и знаний GLM-5.2. Индексатор рассеянного внимания (DSA), маршрутизатор MoE и головка LM хранятся в BF16; большие линейные и экспертные веса несут квантование INT4. Полный контрольно-пропускной пункт INT4 помещается на…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: lowbitcoffee
Теги: glm_moe_dsa, glm, moe, quantized, w4a16, int4, compressed-tensors, vllm
Лайков: 4 | Загрузок: 4,753
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
