Квантование MLX nvidia/NVIDIA-Nemotron-3-Super-120B-A12B-BF16 для Apple Silicon. — Apple Silicon Mac с унифицированной памятью 128 ГБ — mlx-lm >= 0.31.2 (установка из git main для поддержки Latent MoE) Эта модель совместима с LM Studio на Apple Silicon. Найдите FF-01/Nemotron-3-Super-120B-A12B-MLX-6bit в браузере модели и скачайте напрямую. Nemotron-H — это гибридная архитектура, объединяющая три компонента: — слои Mamba-2 — эффективная модель пространства состояний для обработки длинного контекста — слои внимания трансформатора — стандартное внимание с несколькими головками (GQA, 32 головки, 2 головки KV) — Скрытое MoE — 512 экспертов с скрытой маршрутизацией, 22 активных на маркер, плюс 1 общий эксперт. Шаблон слоя чередуется между Mamba (M) и вниманием с блоками MoE (E) на 88 слоях. Эта гибридная конструкция обеспечивает высокую производительность только с 12B активными параметрами на токен, несмотря на то, что общее количество составляет 120B. Это модель рассуждений, которая выводит цепочку мыслей перед окончательным ответом. Модель использует и теги для разграничения рассуждений.
Модальности:
Генерация текста
Области применения:
Логика и рассуждение Диалог / чат
Задача: Генерация текста
Автор: mlx-community
Теги: mlx, nemotron_h, nemotron, mamba, mamba2, mixture-of-experts, 6bit, quantized
Лайков: 4 | Загрузок: 509
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.