> Вес MTP сохранен. Это полноточная сборка MLX — никакого квантования. Головка мультитокен-предсказания сохраняется на уровне bf16 (mtppolicy: keepbf16), как и тело. Полностью точная, не квантованная сборка MLX Qwen/Qwen3.8-27B для Apple Silicon, изготовленная с помощью кузницы mtplx. Это не переупаковка оригинального релиза PyTorch/safetensors bf16 — он конвертируется в собственный формат MLX для прямой загрузки на Apple Silicon, с неповрежденной головой MTP, поэтому спекулятивное декодирование работает из коробки. Оригинальные веса Qwen/Qwen3.8-27B являются предохранителями в формате HF/PyTorch. Загрузка их непосредственно через общие пути преобразования MLX может привести к потере 15 тензоров MTP модели (полное объяснение причин см. в 4-разрядных/8-разрядных картах родства). Эта сборка применяет ту же mtppolicy: keepbf16 рецепт подделки, что и квантованные варианты, но с bodybits: 0 — это означает, что ствол вообще не квантован *. Он существует для всех, кто хочет потерять качество, связанное с нулевым квантованием, и у кого есть свободная память. — Рекомендуется Apple Silicon Mac (серия M) с унифицированной памятью 64 ГБ — полный вес bf16 составляет ~55 ГБ на диске/в памяти до кэша KV. — mtplx — требуется для использования собственного спекулятивного декодирования MTP…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: johninthepool
Теги: mlx, qwen3_5, mtplx, bf16, multi-token-prediction, speculative-decoding, qwen3.5, apple-silicon
Лайков: 3 | Загрузок: 237
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
