Это квантованная версия Ex0bit/Elbaz-NVIDIA-Nemotron-3-Nano-30B-A3B-PRISM NVFP4 (FP4), созданная с использованием оптимизатора моделей NVIDIA TensorRT. Формат NVFP4 оптимизирован для: — Графических процессоров NVIDIA Blackwell (B100, B200, GB200) — TensorRT-LLM v0.17+ Этот формат НЕ совместим с: — Потребительские графические процессоры (серии RTX 3000/4000/5000) — llama.cpp — Стандартный вывод PyTorch — Метод: NVIDIA ModelOpt NVFP4DEFAULTCFG — Калибровка: 512 образцов из WikiText-2 — Формат: контрольная точка HuggingFace с квантованными весами — Ex0bit/Elbaz-NVIDIA-Nemotron-3-Nano-30B-A3B-PRISM — Родительская модель (доступны квантования GGUF) — nvidia/NVIDIA-Nemotron-3-Nano-30B-A3B-BF16 — Исходная базовая модель
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: Ex0bit
Теги: nvidia, abliteration, PRISM, mamba-2, moe, hybrid, finetune, quantized
Лайков: 6 | Загрузок: 370
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
