𓌳 REAP𓌳 для экспертов: почему сокращение преобладает при однократном сжатии MoE 📄 Бумага • 💻 Код • 📝 Блог Важное обновление, касающееся поддержки GGUF: недавно в llama.cpp была обнаружена критическая ошибка, касающаяся функции оценки для моделей GLM (которая вызывала зацикливание и плохое качество вывода). Хотя базовые веса работают, файлы GGUF для этой модели в настоящее время перегенерируются, чтобы обеспечить полную совместимость с последними исправлениями. Статус: файлы GGUF планируется повторно загрузить до 24 января 2026 г. Рекомендация: если вы используете локальный вывод через llama.cpp или Unsloth, обратитесь к официальной документации Unsloth GLM-4.7-Flash для получения наиболее стабильных параметров конфигурации. Встроенная поддержка: гири BF16/FP16 остаются совместимыми с трансформаторами и vLLM для немедленного использования. Флэш-память GLM-4.7, на 50 % оптимизированная экспертами, оптимизирована для генерации кода, вызова функций и агентских рабочих процессов. Создано с использованием REAP (экспертная обрезка активации маршрутизатора) компанией Cerebras: — Калибровка для кода и инструментов: сохраняет возможности кодирования и вызова функций — Одноразовое сжатие: точная настройка не требуется — Совместимость с встраиваемыми модулями: работает с vLLM, Transformers, SGLang Cerebras использовала те же 3 набора данных…
Модальности:
Генерация текста
Области применения:
Генерация кода Диалог / чат Вызов функций (Tool use)
Задача: Генерация текста
Автор: Akicou
Теги: glm4_moe_lite, glm, glm4.7, MOE, pruning, compression, reap, cerebras
Лайков: 10 | Загрузок: 11
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
