> [!NOTE] > Включает исправления шаблона чата Unsloth! Для llama.cpp используйте —jinja > Unsloth Dynamic 2.0 обеспечивает превосходную точность и превосходит другие ведущие количественные показатели. 𓌳 REAP𓌳 Эксперты: почему сокращение преобладает при однократном сжатии MoE Представляем Qwen3-Coder-REAP-363B-A35B, сжатый вариант Qwen3-Coder-480B-A35B-Instruct с эффективным использованием памяти, который обеспечивает почти идентичную производительность, будучи на 25 % легче. Эта модель была создана с использованием REAP (router-weighted Expert Activation Pruning), нового метода сокращения экспертов, который выборочно удаляет лишних экспертов, сохраняя при этом независимый контроль маршрутизатора над оставшимися экспертами. Ключевые особенности: — Производительность почти без потерь: обеспечивает почти такую же точность генерации кода, агентного кодирования и задач вызова функций по сравнению с полной моделью 480B. — Сокращение памяти на 25 %: сжатие параметров с 480B до 363B, что значительно снижает затраты на развертывание и требования к памяти. — Сохраненные возможности: сохраняются все основные функции, включая генерацию кода, агентские рабочие процессы, понимание масштаба репозитория и вызов функций. — Совместимость с встраиваемыми модулями: Работает с ванильным vLLM — никаких модификаций исходного кода или пользовательских настроек…
Модальности:
Генерация текста
Области применения:
Диалог / чат Генерация кода
Задача: Генерация текста
Автор: unsloth
Теги: gguf, qwen-coder, unsloth, MOE, pruning, compression, en, endpoints_compatible
Лайков: 12 | Загрузок: 138
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
