MLX Studio — единственное приложение, которое изначально поддерживает модели JANG с рассуждением Nemotron-Cascade-2-30B-A3B — JANG_4M (4,1-битное, 8-битное внимание) — Рассуждение JANG — Адаптивное N-битное оценивание Jang | Эквивалент GGUF для MLX JANG2L — единственное квантование, которое подходит для компьютеров Mac с памятью 24 ГБ и обеспечивает 88% MMLU с обоснованием. JANG4M превосходит 4-битный MLX (93,0% против 92,5%) при том же размере 17 ГБ. См. также: JANG_2L (10 ГБ) — подходит для компьютеров Mac с 16 ГБ памяти, 88% используют MMLU. — Apple Silicon Mac с унифицированной памятью более 24 ГБ. — MLX Studio или pip install «jang[mlx]>=2.1.5» — Mamba-2 SSM: большинство слоев используют модели в пространстве состояний, что обеспечивает эффективный длинный контекст с минимальным кэшем KV. — Всего 6 слоев внимания: KV-кэш крошечный (0,2 ГБ при 32К). Большинство моделей используют слои внимания 25–100%. — Немотронная архитектура: для правильного отображения веса требуется загрузчик JANG. Стандарт mlx-lm имеет неполную поддержку. — Золотая медаль IMO**: эта модель обеспечивает математические рассуждения соревновательного уровня в масштабе 30B. JANG — Создано Джинхо Джангом (eric@jangq.ai) · @dealignai GitHub · PyPI · HuggingFace
Модальности:
Генерация текста
Области применения:
Логика и рассуждение Диалог / чат
Задача: Генерация текста
Автор: JANGQ-AI
Теги: mlx, nemotron_h, jang, quantized, mixed-precision, apple-silicon, reasoning, thinking
Лайков: 5 | Загрузок: 114
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
