> [!TIP] > Поддержите эту работу → · X · GitHub · Документ REAP · Cerebras REAP Это 4-битный GPTQ вариант с квантованием по весу 25% экспертно сокращенного zai-org/GLM-5.1 с использованием REAP (Relative Expert Activation Pruning), созданный с помощью AutoRound для оптимизации обученного округления. GPTQ W4A16 использует тот же метод округления (AutoRound), что и GGUF Q4KM. Результаты тестов по варианту GGUF (циклы с нулевым повторением): Циклы с нулевым повторением по 220 эталонным тестам. При сокращении 25% сохраняются 192/256 экспертов, что обеспечивает достаточное экспертное разнообразие для стабильной генерации при любой длине последовательности. — ~70-80 ГиБ видеопамяти на каждый графический процессор в 4 графических процессорах (B200) или ~280 ГиБ всего — CUDA 12.8+ (sm100a / Blackwell) — vLLM >= 0.19.0 с установленным deepgemm (для нехватки внимания DSA) — Trustremotecode=True Метод: AutoRound W4A16 — обучение округлению через SignSGD (200 итераций на каждый слой), откалиброванный по 128 образцам из NeelNanda/pile-10k при длине последовательности 2048. Защищено (сохраняется с полной точностью): — Плотные слои MLP 0-2 (gateproj, upproj, downproj) — Индексатор DSA (weightsproj) — lmhead` Квантуется до int4 (43 971/44 059 линейных слоев): — Все проекции внимания (qaproj, qbproj, kvaproj, kvbproj, oproj`) — Все маршрутизируемые MoE…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: 0xSero
Теги: glm_moe_dsa, autoround, expert-pruning, glm, gptq, moe, pruning, reap
Лайков: 8 | Загрузок: 676
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
