Это квантование NVFP4 смешанной точности zai-org/GLM-4.7-Flash, 30B-A3B (всего 30B, 3B активно) модели Mixture-of-Experts. Эта модель была создана с помощью специальных скриптов квантования и калибровки (128 выборок, 2048 максимальных последовательностей, нейронная магия/калибровка, все 64 эксперта) на основе подхода NVIDIA для DeepSeek-V3. Для сохранения точности используется смешанная точность: — vLLM: 0.14.0+ (для поддержки NVFP4 со сжатыми тензорами) — Трансформаторы: 5.0.0+ (для архитектуры glm4moelite) — Графический процессор: NVIDIA GPU с поддержкой тензорного ядра FP4 (Blackwell, Hopper, Ada Lovelace) — Базовая модель: zai-org/GLM-4.7-Flash — Архитектура: Glm4MoeLiteForCausalLM — Параметры: всего 30B, 3B активных на токен (30B-A3B) — Конфигурация MoE: 64 перенаправленных эксперта, 4 активных, 1 общий эксперт — Слои: 47 — Длина контекста: 202 752 токена (макс.) — Языки: английский, китайский — Формат: сжатые тензоры (NVFP4) — Размер блока: 16 — Формат шкалы: FP8 (E4M3) — Калибровка: 128 образцов из набора данных Neuralmagic/калибровки. Полная экспертная калибровка: все 64 эксперта калибруются на образец. Если вы используете эту модель, укажите исходную версию GLM-4.7-Flash: Эта модель наследует лицензию Apache 2.0 от базовой модели.
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: GadflyII
Теги: glm4_moe_lite, moe, nvfp4, quantized, vllm, glm, 30b, conversational
Лайков: 65 | Загрузок: 240,505
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
