MiniMax-M2.5-REAP-139B-A10B-AWQ-4bit
𓌳 REAP𓌳 Эксперты: почему обрезка преобладает при однократном сжатии MoE Представляем MiniMax-M2.5-REAP-139B-A10B, сжатый вариант MiniMax-M2.5 с эффективным использованием...
𓌳 REAP𓌳 Эксперты: почему обрезка преобладает при однократном сжатии MoE Представляем MiniMax-M2.5-REAP-139B-A10B, сжатый вариант MiniMax-M2.5 с эффективным использованием...
93,5% MMLU при 87 ГБ. Декодирование 61 ток/с. ЗГЗ 4.604. 228B-параметр MoE сжат на 62% с помощью квантования...
Этот репозиторий квантует модель с использованием квантования без данных (набор калибровочных данных не требуется). По состоянию на 15...
Гибридный кэш AWQ int4 + fp8 + fp8 KV MiniMaxAI/MiniMax-M2.5 (~229B параметров, 256 экспертов на слой), который подходит...
MiniMax-M2.7 — наша первая модель, глубоко участвующая в собственной эволюции. M2.7 способен создавать сложные агентские системы и выполнять...
— Метод квантования: cyankiwi AWQ v1.0 — Биты: 4 — Размер группы: 32 — Набор калибровочных данных: ScaleAI/SWE-benchPro...
𓌳 REAP𓌳 Эксперты: почему обрезка преобладает при однократном сжатии MoE Представляем MiniMax-M2-REAP-139B-A10B, сжатый вариант MiniMax-M2 с эффективным использованием...
ПРИМЕЧАНИЕ. ikllama.cpp` также может запускать существующие GGUF от bartowski, unsloth, mradermacher и т. д., если вы хотите опробовать...
Это квант высочайшего качества, который может работать на 192 ГБ видеопамяти > [!TIP] > 💡 Версия без FP8...
𓌳 REAP𓌳 Эксперты: почему обрезка преобладает при однократном сжатии MoE Представляем MiniMax-M2-REAP-172B-A10B, сжатый вариант MiniMax-M2 с эффективным использованием...