Квантование GGUF dervig/m51Lab-MiniMax-M2.7-REAP-139B-A10B, первого общедоступного варианта MiniMax-M2.7 с сокращением REAP-40%. — 96 ГБ Apple Silicon (Mac Studio M4 Max): Q4KM — ~84 ГБ оставляет ~12 ГБ для кэша KV в контексте ~16 КБ. — Mac с 64 ГБ памяти: Q3KM — единственный подходящий вариант. Ожидайте некоторого ухудшения качества рассуждений. — 128 ГБ Mac Ultra / 2 × A6000: Q6K для качества, близкого к базовому. — Система емкостью более 192 ГБ (двойной H100 / RTX 6000 Ada): Q80 для минимальной потери качества. — Альтернатива Q4KM на 96 ГБ: IQ4NL-MoE удерживает внимание на Q80 и квантует только экспертные тензоры FFN. Аналогичный размер, часто лучший код/рассуждение. Для задач, в которых модель завершила свои рассуждения в рамках бюджета генерации 32 K-токенов, квант Q4KM правильно решил 90 из 108. Строгое прохождение @ 1 (все 164 задачи, ограничения считаются неудачными): 54,9 % 56 из 164 задач исчерпали бюджет рассуждений в 32 тыс. в середине и считаются неудачными при строгой академической оценке. Выделите ≥64 тыс. токенов, чтобы приблизиться к потолку в 83 %. Методология: 2 × H100 80 ГБ, llama.cpp /v1/chat/completions, встроенная поддержка включена, температура = 0,2, topp = 0,95, максимальное количество токенов = 32000. Примечание по предыдущей методологии: более ранняя оценка с использованием необработанных /v1/дополнений с чат-прозой…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: dervig
Теги: gguf, minimax, moe, reap, quantized, llama-cpp, endpoints_compatible, imatrix
Лайков: 11 | Загрузок: 2,235
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
