> [!TIP] > Поддержите эту работу → · X · GitHub · Документ REAP · Cerebras REAP 40% экспертной обрезки MiniMax-M2.1 с использованием REAP (экспертная обрезка активации с учетом маршрутизатора). Протестировано при 4 температурах (0,0, 0,2, 0,7, 1,0) для 6 типов запросов (всего 24 теста): Если вы столкнулись с TypeError: CacheLayerMixin.init() получил неожиданный аргумент ключевого слова, добавьте его перед импортом модели: — MiniMax-M2.1-REAP-40-W4A16 (скоро) — 4-битные веса, ~58 ГБ видеопамяти. Коэффициент сокращения 40 % обеспечивает наилучший баланс: — Уменьшение размера: 139 Б против исходных 456 Б (на 70 % меньше) — Экономия видеопамяти: ~278 ГБ против ~912 ГБ (подходит для 4x H100 по 80 ГБ) — Стабильность: 0 циклов при комплексном стресс-тестировании — Производительность: минимальное ухудшение качества из-за стратегического выбора экспертов. REAP (отсечение экспертной активации с учетом маршрутизатора) использует данные калибровки для определения наиболее важных экспертов на основе шаблонов активации маршрутизатора. В отличие от случайного сокращения или сокращения на основе величины, REAP сохраняет экспертов, которые фактически используются во время вывода. Набор калибровочных данных: 2098 образцов — Pile-10k: 498 образцов (общий текст) — evol-codealpaca: 800 образцов (генерация кода) — вызов xlam-функции: 800 образцов (вызов функций) Стало возможным благодаря NVIDIA · TNG…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: 0xSero
Теги: minimax_m2, minimax, moe, pruned, reap, conversational, custom_code, endpoints_compatible
Лайков: 9 | Загрузок: 109
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
