Этот репозиторий содержит настраиваемую по инструкциям модель Gemma 4 31B, квантованную с нативной точностью FP4 (NVFP4) для высокоэффективного вывода на архитектурах графических процессоров NVIDIA Blackwell (например, B200, B100). Квантованная из официальных неквантованных весов QAT (google/gemma-4-31B-it-qat-q40-unquantized) с использованием NVIDIA Model Optimizer (modelopt)**, эта модель обеспечивает исключительную пропускную способность и экономию памяти при сохранении высокого качества за счет использования свойств Quantization-Aware Training (QAT) базовой контрольной точки. — Базовая модель: google/gemma-4-31B-it-qat-q40-unquantized — Формат квантования: NVFP4 (родная FP4 на Blackwell) — Размер группы: 16 (масштабирование по группам) — Исключенные модули: lmhead, model.embedvision, model.visiontower (работает с высокой точностью) — Продюсер: NVIDIA Model Optimizer (modelopt) > [!ПРИМЕЧАНИЕ] > Почему Hugging Face показывает «17B params» вместо «31B»? > Hugging Face вычисляет количество параметров динамически из тензорных фигур в файлах safetensors. Поскольку веса этой модели квантуются до собственных 4-разрядных (FP4) и упакованных (два 4-разрядных веса на один int8-байт), размеры физического тензора уменьшаются вдвое (например, форма [5376, 21504] становится [5376, 10752]). Это…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: melcheikh
Теги: gemma4, tensorizer, modelopt, nvidia, fp4, nvfp4, blackwell, vllm
Лайков: 4 | Загрузок: 500
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
