Это 4-битная версия Apple MLX урезанной версии MiniMax-M2.7 от MiniMaxAI. Применив «Аблированную адаптацию отказа» (ARA) от Heretic, базовое поведение отказа было устранено на уровне веса. В результате сохраняются разреженные рассуждения MoE MiniMax-M2.7, следование инструкциям с длинным контекстом и общий профиль возможностей, но больше не используется исходный шаблон отказа по умолчанию. В этой сборке используется смешанное 4/5-битное квантование MLX с учетом слоев. Основная часть модели квантована до 4-битного разрешения, тогда как чувствительные проекционные и выходные модули сохраняют 5-битную обработку для большей стабильности. — Формат: безопасные тензоры MLX — Эффективное квантование: 4,662 бита на вес — Время выполнения: mlx-lm — Контрольная точка источника: Youssofal/MiniMax-M2.7-abliterated-BF16 MiniMax-M2.7 — это разреженная модель MoE на 229 байт с 10 байт активных параметров на токен, 62 уровня, гибридное внимание, 256 локальных экспертов с 8 активными на каждый токен и контекстное окно размером 200 КБ. Этот выпуск был создан с помощью прямого запуска Heretic ARA с использованием фиксированного набора параметров, указанного ниже: — startlayerindex = 30 — endlayerindex = 51 — savegoodbehaviorweight = 0,4512 — steerbadbehaviorweight = 0,0037 — overcorrectrelativeweight = 0,8804 — Neighborcount = 14` Этот 4-битный MLX…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: Youssofal
Теги: mlx, minimax_m2, mlx-lm, minimax, moe, mixture-of-experts, abliterated, uncensored
Лайков: 5 | Загрузок: 250
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
