Это квантованная FP8 версия nvidia/NVIDIA-Nemotron-Nano-9B-v2, оптимизированная для эффективного вывода со значительным сокращением памяти при сохранении качества модели. — Базовая модель: nvidia/NVIDIA-Nemotron-Nano-9B-v2 — Архитектура модели: Hybrid Mamba-Transformer — Параметры: 8,89B (эффективный) — Размер модели: 9,48 ГБ (по сравнению с исходными 17,78 ГБ) — Сжатие: в 1,88 раза меньше (уменьшение размера на 46,7%) — Квантование: формат FP8 E4M3 с интеллектуальным сохранением точности — Длина контекста: до 128 тыс. токенов — Лицензия: лицензия NVIDIA Open Model Эта модель была квантована с использованием специального процесса преобразования FP8, который: — Преобразует линейные веса слоев в формат FP8 E4M3 (1 байт на параметр) — Сохраняет встраивания, нормы слоев и смещения в BF16 для стабильности — Поддерживает целостность гибридной архитектуры Mamba-Transformer — Создает фактические квантованные веса (не квантование во время выполнения) — Исходный размер: 17,78 ГБ — Квантованный размер: 9,48 ГБ — Коэффициент сжатия: 1,88x — Сокращение памяти: 46,7% — Метод преобразования: прямое преобразование веса защитных тензоров FP8 — Сохраняемые слои: встраивания, LayerNorms, смещения (BF16) — Квантованные слои: линейные/MLP веса (FP8 E4M3) Гибридная архитектура полностью сохраняется: — 27…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: weathermanj
Теги: nvidia, nemotron, fp8, quantized, quantization, efficient-inference, hybrid-mamba-transformer, conversational
Лайков: 6 | Загрузок: 12
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
