𓌳 REAP𓌳 Эксперты: почему сокращение преобладает при однократном сжатии MoE Представляем Qwen3-Coder-REAP-246B-A35B-FP8, сжатый вариант Qwen3-Coder-480B-A35B-Instruct-FP8 с эффективным использованием памяти, который поддерживает почти идентичную производительность, будучи на 50 % легче. Эта модель была создана с использованием REAP (router-weighted Expert Activation Pruning), нового метода сокращения экспертов, который выборочно удаляет лишних экспертов, сохраняя при этом независимый контроль маршрутизатора над оставшимися экспертами. Ключевые особенности включают в себя: — Производительность почти без потерь: обеспечивает практически идентичную точность при генерации кода, агентном кодировании и вызове функций по сравнению с полной моделью 480B. — Сокращение памяти на 50 %: параметры сжаты с 480B до 246B, что значительно снижает затраты на развертывание и требования к памяти. — Сохраненные возможности: сохраняются все основные функции, включая генерацию кода, агентские рабочие процессы, понимание масштаба репозитория и вызов функций. Работает с ванильным vLLM — не требуется никаких модификаций исходного кода или пользовательских патчей — Оптимизировано для реального использования: особенно эффективно для сред с ограниченными ресурсами, локального развертывания и научных исследований 🟩 Это…
Модальности:
Генерация текста
Области применения:
Диалог / чат Генерация кода
Задача: Генерация текста
Автор: cerebras
Теги: qwen3_moe, qwen-coder, MOE, pruning, compression, conversational, en, endpoints_compatible
Лайков: 22 | Загрузок: 27
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
