Это квантование MXFP4 zai-org/GLM-4.7-Flash, модели Mixture-of-Experts 30B-A3B (30B всего, 3B активно). Эта модель использует формат MXFP4 (Microscaling FP4) с серверной частью Marlin для вывода. Пользовательское квантование с калибровкой (128 образцов, макс. 2048 последовательностей), применяемое экспертами МО. — vLLM: 0.14.0+ (для поддержки серверной части MXFP4 Marlin) — Трансформеры: 5.0.0+ (для архитектуры glm4moelite) — Графический процессор: NVIDIA GPU с вычислительными возможностями 8.0+ (Ampere/Hopper/Blackwell) Эта модель поддерживает режим «мышления», в котором отображается процесс рассуждения: — Enablethinking: True — Модель выводит процесс рассуждения перед ответом (подходит для математики, кодирования, сложных задач) рассуждение) — Enablethinking: False — Модель выводит ответ напрямую (подходит для чата, простые вопросы и ответы) — Базовая модель: zai-org/GLM-4.7-Flash — Архитектура: Glm4MoeLiteForCausalLM — Параметры: всего 30B, 3B активных на токен (30B-A3B) — Конфигурация MoE: 64 перенаправленных эксперта, 4 активных, 1 общий эксперт — Слои: 47 — Контекст Длина: 202 752 токена (макс.) — Языки: английский, китайский — Формат: MXFP4 (микромасштабирование FP4) — Формат веса: E2M1 (4-битная с плавающей запятой, диапазон ±6,0) — Формат шкалы: E8M0 (8-битная шкала степени двойки) — Размер блока: 32 -…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: GadflyII
Теги: glm4_moe_lite, moe, mxfp4, quantized, vllm, glm, 30b, conversational
Лайков: 8 | Загрузок: 39
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
