MLX-квантование смешанной точности NVIDIA Nemotron-3-Super-120B-A12B — гибридная архитектура Mamba2 + MoE + Attention. Эта модель обеспечивает производительность класса 120B для Apple Silicon. Используя усовершенствованное квантование смешанной точности, мы успешно сократили объем памяти с 240 ГБ BF16 до 51 ГБ, сохранив при этом качество генерации практически без потерь по сравнению со стандартным 4-битным равномерным квантованием. Эта оптимизация открывает два различных варианта локального вывода: — Единая память 64 ГБ (минимум): расширяет аппаратные границы, делая возможным вывод локальной модели 120 байт на периферийных устройствах. — Единая память объемом более 96 ГБ (рекомендуется): обеспечивает бескомпромиссную и плавную работу. Эффективный размер освобождает огромный объем для кэша KV, полностью раскрывая максимальные возможности долгого контекста. — mlx-lm ≥ 0.31.2 (dev) — в более старых версиях отсутствует Nemotron-H / поддержка скрытой проекции — рекомендуется Apple Silicon с унифицированной памятью ≥ 96 ГБ
Модальности:
Генерация текста
Области применения:
Диалог / чат Мультиязычность
Задача: Генерация текста
Автор: MoringLabs
Теги: mlx, nemotron_h, quantization, quantized, mixed-precision, mamba, moe, nemotron
Лайков: 6 | Загрузок: 485
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
