𓌳 REAP𓌳 Эксперты: почему обрезка преобладает при однократном сжатии MoE Представляем GLM-4.7-REAP-218B-A32B, сжатый вариант GLM-4.7 с эффективным использованием памяти, который поддерживает почти идентичную производительность, будучи на 40% легче. Эта модель была создана с использованием REAP (Router-weighted Expert Activation Pruning), нового метода сокращения экспертов, который выборочно удаляет избыточных экспертов, сохраняя при этом независимый контроль маршрутизатора над оставшимися экспертами. Ключевые особенности включают в себя: — Производительность почти без потерь: обеспечивает практически идентичную точность при генерации кода, агентном кодировании и вызове функций по сравнению с полной моделью 355B. — Сокращение памяти на 40 %: параметры сжаты с 355B до 218B, что значительно снижает затраты на развертывание и требования к памяти. — Сохраненные возможности: сохраняются все основные функции, включая генерацию кода, агентские рабочие процессы, понимание масштаба репозитория и вызов функций. — Совместимость с встраиваемыми модулями: Работает с ванильным vLLM — не требуется никаких модификаций исходного кода или пользовательских патчей — Оптимизирован для реального использования: особенно эффективен для сред с ограниченными ресурсами, локальных развертываний и научных исследований. Для последующего низкобитного квантования мы…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: unsloth
Теги: glm4_moe, glm, MOE, pruning, compression, conversational, en, endpoints_compatible
Лайков: 5 | Загрузок: 25
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
