An MLX conversion of nvidia/NVIDIA-Nemotron-3-Ultra-550B-A55B-NVFP4, quantized for stock mlx-lm: — routed MoE experts: affine int4, group size 32, from base NVFP4 — Mamba in/out projections, shared experts: affine int8, group size 64, from base FP8 — attention q/k/v/o, MoE latent projections: affine int8, group size 64, from base bf16 — router gate, conv1d, embeddings, lm_head: bf16
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: mlx-community
Теги: mlx, nemotron_h, nemotron, conversational, custom_code, 4-bit
Лайков: 4 | Загрузок: 264
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.