INT4 Qwen 3.5 REAP MoE с квантованием по весу (всего 212 байт / 17 байт активных параметров) Квантование W4A16 OpenMOSE/Qwen3.5-REAP-212B-A17B, созданное с использованием Intel AutoRound со стандартным набором калибровочных данных NeelNanda/pile-10k. Тот же рецепт, который используется 0xSero для квантования GLM-4.7-REAP-218B-A32B-W4A16. Также рассмотрите возможность https://huggingface.co/OpenMOSE/Qwen3.5-REAP-262B-A17B AutoRound — это метод квантования веса Intel, который использует знаковый градиентный спуск для поиска оптимальных решений округления — вместо того, чтобы наивно округлять каждый вес до ближайшего 4-битного значения, он итеративно корректирует направления округления, чтобы минимизировать ошибку вывода для калибровочных выборок. Думайте об этом как о разнице между округлением каждой цифры в налоговой декларации по отдельности и округлением их скоординированным способом, обеспечивающим максимально точную сумму. Процесс квантования обрабатывает 542 из 543 слоев на блок трансформатора. Единственный уровень, который намеренно пропускается, — это mlp.sharedexpertgate — маршрутизатор MoE. Веса маршрутизатора определяют, какие эксперты активируются для данного токена, и их квантование похоже на сжатие сигналов светофора на перекрестке. Вы хотите, чтобы решения о маршрутизации оставались…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: atbender
Теги: qwen3_5_moe, image-text-to-text, quantized, 4bit, autoround, mixture-of-experts, moe, reap
Лайков: 24 | Загрузок: 314
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
