Эта модель представляет собой сжатую версию Qwen/Qwen3-Coder-Next. Его получают за счет сокращения количества экспертов на каждом уровне MoE с 512 до 384. Такое сокращение достигается с помощью метода REAM, описанного в https://bknyaz.github.io/blog/2026/moe/. По сравнению с другими моделями, полученными в этой коллекции, в калибровочных данных во время сокращения/объединения используется больше кодовых данных, чтобы лучше сохранить возможности кодирования исходной модели. В частности, соотношение между c4, математическими данными и данными кодирования (см. https://bknyaz.github.io/blog/2026/moe/) составляет 0,0, 0,3, 0,7. Используемые здесь калибровочные данные такие же, как и в Qwen3-Coder-Next-REAP. По сравнению с другими моделями REAM здесь мы использовали C=32 (количество экспертов в группах) вместо C=16, что, по нашему мнению, работает лучше. Сжатая модель имеет 60 байт параметров (120 ГБ) вместо 80 байт (160 ГБ) исходной модели, что снижает требования к хранилищу и памяти графического процессора примерно на 25%. В то же время модель сохраняет 100% (или очень близкое) качество исходной модели в различных тестах (см. раздел «Результаты» ниже). Дополнительная оптимизация эффективности (например, квантование) может быть добавлена аналогично исходной модели. Пожалуйста, обратитесь к лицензии оригинальной модели…
Модальности:
Генерация текста
Области применения:
Генерация кода Диалог / чат
Задача: Генерация текста
Автор: bknyaz
Теги: qwen3_next, compression, expert-merging, moe, code, conversational, endpoints_compatible
Лайков: 28 | Загрузок: 1,031
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
