> Важно: в этой модели используется формат квантования JANG — эквивалент GGUF для MLX в Apple Silicon. В настоящее время поддерживается только MLX Studio и пакетом Python jang-tools. JANG смешанной точности · CRACK удален · Мамба + MoE + Внимание · Никаких ограждений · 10 ГБ Также см.: Версия JANG_4M — 17 ГБ, 99,4% HarmBench, 82,7% MMLU (подходит для компьютеров Mac с 32 ГБ) Влияние операции на рассуждение: минимальное (-2% не думать, ~-1% думать). > Примечание. Для Nemotron Cascade 2 не существует стандартного квантования MLX. Архитектура немотрона (гибрид Mamba + MoE + Attention) поддерживается только форматом JANG через MLX Studio и jang-tools`. Показанные баллы являются проходом без обдумывания. Восстановление мышления улучшилось в целом с 49,0% до 66,8%. JANG (Jang Adaptive N-bit Grading) — это формат квантования смешанной точности для Apple Silicon — эквивалент GGUF для MLX. CRACK (контролируемая абляция отказа посредством калиброванных нокаутов) удаляет безопасное выравнивание из LLM на уровне веса, используя послойные проецируемые векторы из структурно зеркальных пар подсказок. Эта модель предназначена для исследовательских и образовательных целей. Создатели не несут ответственности за любое неправомерное использование. Скачивая эту модель, вы соглашаетесь использовать ее ответственно и…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: dealignai
Теги: mlx, nemotron_h, jang, quantized, mixed-precision, apple-silicon, moe, mamba
Лайков: 6 | Загрузок: 144
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
