Формат: NVFP4 — оптимальное частичное квантование весов и активаций в NVFP4. Базовая модель: zai-org/GLM-4.7. Как это было сделано: автоматическое квантование с помощью NVIDIA Model-Optimizer (NVFP4) с x8 RTX PRO 6000 с использованием калибровочного набора по умолчанию. (cnn_dailymail и nemotron-post-training-dataset-v2) Проверьте исходную карточку модели, чтобы получить информацию об этой модели. Мне нужно было исправить vllm/modelexecutor/models/glm4moe.py, чтобы пропускать определенные параметры kscale и vscale, если они отсутствуют в контрольной точке, а не сбой. Приведенный ниже скрипт исправил мои ошибки kscale и vscale.
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: Salyut1
Теги: glm4_moe, conversational, 8-bit, modelopt
Лайков: 16 | Загрузок: 137
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
