> ⚠️ Для запуска требуется MLX Studio. Стандартный mlxlm` не может загружать модели JANG смешанной точности. MLX Studio включает в себя загрузчик JANG с автоматическим определением битов каждого слоя. > > Следуйте за нами: X @dealignai > Рекомендуется: запустите в MLX Studio для получения наилучших результатов, включая поддержку режима мышления и оптимизированный вывод MoE. MiniMax M2.7 – всегда рассуждающая модель. Он думает, прежде чем ответить на каждый запрос. JANG защищает маршрутизацию и внимание с полной точностью, одновременно сжимая 256 экспертных MLP, где модели MoE наиболее устойчивы к квантованию. Маршрутизатор сохраняет значение float16 (без квантования) для максимальной точности маршрутизации. JANG_6M не тестировался из-за медленной генерации (~ 20 ток/с). Ожидается, что 6-битный формат почти без потерь будет соответствовать или превышать 4M/3L. Стандартное квантование MLX на MiniMax дает полностью искаженный вывод на ВСЕХ битовых уровнях (~ 25% MMLU = случайное угадывание). Подход смешанной точности JANG — единственный работающий квантовый MiniMax на Apple Silicon. На M2.5 JANG2L достиг 74% MMLU** против 25% у MLX (случайно). Ожидаются результаты M2.7. — Apple Silicon Mac с унифицированной памятью 128 ГБ — Платформа MLX — Рекомендуется MLX Studio MiniMax M2.7 использует чередующееся мышление + вызовы инструментов — он рассуждает внутри блоков, а затем…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: JANGQ-AI
Теги: mlx, minimax_m2, jang, minimax, moe, apple-silicon, conversational, custom_code
Лайков: 13 | Загрузок: 2,661
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
