3-битная версия MLX с квантованием по весу Qwen/Qwen3.6-35B-A3B с квантованием KV-кэша TurboQuant. Оптимизирован для вывода Apple Silicon через платформу MLX. Хороший баланс между качеством модели и эффективностью памяти. На каждый токен активны только 3B параметров, несмотря на общее количество 35B, что делает эту модель значительно более эффективной во время вывода, чем предполагает количество параметров. > [!ВАЖНО] > Извлечение только текста. Этот репозиторий содержит только квантованную языковую башню > Qwen3.6-35B-A3B. Восходящая башня обзора (333 тензора) и головка MTP не включены, > поэтому вход изображения/видео не работает, и mlxvlm.load(…) завершается с ошибкой > Missing… параметров (ожидаемая башня обзора отсутствует на контрольной точке). > Загрузите его с помощью mlxlm (последняя версия с поддержкой qwen35moe), как показано выше. > Для ввода изображения/видео используйте вышестоящую модель BF16 > Qwen/Qwen3.6-35B-A3B в среде выполнения, которая ее поддерживает. TurboQuant (arXiv: 2504.19874) — это метод квантования KV-кэша, который сжимает кеш-ключ-значение, используемый во время авторегрессионной генерации. В сочетании с 3-битным весовым квантованием в MLX это обеспечивает стратегию двойного сжатия: меньший вес модели для уменьшения объема диска и памяти…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: majentik
Теги: mlx, qwen3_5_moe, turboquant, kv-cache-quantization, qwen, qwen-3.6, qwen3.6, moe
Лайков: 6 | Загрузок: 1,268
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
