Это 4-разрядное автоматическое квантование GPTQ 0xSero/GLM-4.7-REAP-30, версия оригинальной модели MOE GLM-4.7, отсеченная на 30% REAP. — Квантование с помощью AutoRound v0.9.4 (bits=4, groupsize=128, sym=True) в формате autogptq. — Размер модели: ~124 ГБ (сжатие 3,8x от неквантованной обрезанной модели). — Совместим с vLLM, Transformers AutoGPTQ, ExLlamaV2 и т.д. (протестировано на 2x NVIDIA RTX PRO 6000 Blackwell со следующими настройками) « `bash vllm serve Jon-Nielsen/GLM-4.7-REAP-30-W4A16 —tensor-parallel-size 2 —kv-cache-dtype fp8 —gpu-memory-utilization 0.96 —max-model-len 196608 —max-num-seqs 8 —max-num-batched-tokens 16384 —trust-remote-code —enable-prefix-caching —enable-chunked-prefill —enable-expert-parallel —tool-call-parser = glm47 —reasoning-parser=glm45 —enable-auto-tool-choice —disable-custom-all-reduce
Модальности:
Генерация текста
Области применения:
Генерация кода Диалог / чат Вызов функций (Tool use)
Задача: Генерация текста
Автор: Jon-Nielsen
Теги: glm4_moe, glm-4, moe, glm, glm4, reap, pruned, quantized
Лайков: 3 | Загрузок: 52
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
