Сообщество NVIDIA ModelOpt NVFP4 Z.ai GLM-5.3-Flash с использованием ОДНОЙ DGX Spark. Экспертами по слоям 3–44 являются NVFP4. MTP / NextN (model.languagemodel.layers.45) — это BF16 — прецизионность черновой головки, привитая как модель-00049 из-00049.safetensors. hfquantconfig.json и config.json quantizationconfig.ignore перечисляют этот слой (слои .45 плюс глобусы Expert/Gate/Attn), поэтому vLLM не выделяет упакованные буферы FP4 для тензоров BF16 MTP. Официальное введение Z.ai, ссылки на сервисы, сноски и цитаты приведены ниже без изменений. Эти контрольные показатели представлены в официальном релизе Z.ai, а не в этом пакете NVFP4. 👋 Присоединяйтесь к сообществу WeChat или Discord. 📖 Ознакомьтесь с блогом GLM-5.3-Flash и техническим отчетом GLM-5. 📍 Используйте службы API GLM-5.3-Flash на платформе API Z.ai. Представляем GLM-5.3-Flash, первую изначально мультимодальную модель в серии GLM-5. С общими параметрами 320B и всего 18B активными параметрами он превосходит GLM-5.2 по бенчмаркам и реальным рабочим нагрузкам по цене в одну десятую от цены, приближаясь к Claude Opus 4.8 по кодированию и агентным бенчмаркам. GLM-5.3-Flash начинается с недавно обученной базовой модели с ее архитектурой и обучающим рецептом, переработанным с учетом возможностей и…
Модальности:
Генерация текста Мультимодальность
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: vcruz305
Теги: Model Optimizer, glm5_next, glm, glm-5.3, glm-5.3-flash, nvfp4, modelopt, quantized
Лайков: 3 | Загрузок: 160
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
