𓌳 REAP𓌳 Эксперты: Почему сокращение преобладает при однократном сжатии MoE 📄 Бумага • 💻 Код • 📝 Блог 50% Expert-Pruned + INT4 Quantized — двойное сжатие для эффективного развертывания. — Общее сжатие ~6,5x: 700 ГБ → ~92 ГБ — REAP + AutoRound: экспертное сокращение + весовое квантование — Оптимизировано для кода и инструментов: калибровано для генерации кода и вызова функций — Меньше видеопамяти: подходит для в 2–4 раза меньше графических процессоров, чем BF16 — Prime Intellect — Спонсорство вычислений — Cerebras — Методология REAP — Intel — квантование AutoRound Cerebras использовала те же 3 набора данных в своих Эксперименты REAP GLM-4.6: — evol-codealpaca-v1 для генерации кода — xlam-function-calling-60k для вызова инструментов — SWE-smith-trajectories для агентных задач. Если эта работа полезна, поддержите Sybil Solutions здесь: https://donate.sybilsolutions.ai — Пожертвуйте: https://donate.sybilsolutions.ai — X: https://x.com/0xsero — GitHub: https://github.com/0xsero
Модальности:
Генерация текста
Области применения:
Генерация кода Диалог / чат Вызов функций (Tool use)
Задача: Генерация текста
Автор: 0xSero
Теги: glm4_moe, glm, glm4, MOE, pruning, compression, reap, cerebras
Лайков: 69 | Загрузок: 150
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
