Сбалансированный локальный вывод 35B-A3B для Apple Silicon, упакованный для собственного спекулятивного декодирования Multi-Token-Prediction MTPLX. Этой контрольной точкой является сбалансированная версия 35B: 6-битное тело MLX в сочетании с калиброванными головками INT4 MTP. Он настроен на высокую скорость генерации рассуждений, сохраняя при этом быструю обработку и использование памяти практичными в обычных контекстах кодирования. MTPLX использует собственные головы MTP модели для создания черновых токенов, а затем сверяет их с основной моделью. Когда вытяжные головки хорошо подобраны, вы получаете более высокую производительность без использования отдельной модели вытяжного устройства. Оптимизированный баланс создан для этого пути. MTPLX считывает mtplxruntime.json` и автоматически выбирает измеренные значения по умолчанию D2. Измерено в рамках MTPLX Sustained Max на Apple Silicon с включенным анализом. D2 — это предлагаемый вариант по умолчанию, поскольку он обеспечивает наилучший баланс пропускной способности, стоимости принятия и проверки. Трехпроходный повтор D2 в среднем составил 123,44 ток/с, при этом каждый прогон превышал 122 ток/с. Средняя скорость быстрой обработки по лестнице от 512 до 64 тыс. составила 3110,5 ток/с. Это не контрольно-пропускной пункт полной точности. Он создан для быстрого локального использования на Apple Silicon через MTPLX. — model-.safetensors: 6-битные фрагменты тела MLX — mtp.safetensors:…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: Youssofal
Теги: mlx, qwen3_5_moe, apple-silicon, speculative-decoding, qwen, qwen3, qwen3-next, mtp
Лайков: 6 | Загрузок: 1,424
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
