Zirel-3 — это специализированная точная настройка cerebras/GLM-4.5-Air-REAP-82B-A12B, модели Mixture-of-Experts (MoE) с активными параметрами (82B) с эффективным использованием памяти, сжатой с использованием нового метода REAP (взвешенное по маршрутизатору сокращение экспертной активации). Базовая модель представляет собой сжатый вариант GLM-4.5-Air, который: — Сохраняет почти идентичную производительность, но на 25 % легче (общее количество параметров сжато со 110 до 82 Б); понимание масштаба репозитория и вызов функций. — Обеспечивает совместимость с ванильным vLLM (специальные исправления не требуются). REAP (Router-weighted Expert Activation Pruning) — это однократный метод сжатия MoE, который: Сохраняет 95–97 % базового качества модели даже при высоких степенях сжатия. Бумага: REAP для экспертов:…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: Daemontatox
Теги: glm4_moe, text-generation-inference, unsloth, pruning, REAP, MOE, glm, zirel
Лайков: 5 | Загрузок: 11
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
