Этот репозиторий содержит настраиваемые, только текстовые конфигурации семейства моделей Qwen3.6, оптимизированные явно для агентного кодирования на уровне локального репозитория на Apple Silicon с использованием механизма вывода oMLX. Стандартные выпуски с открытым весом и предварительно конвертированные MLX-файлы сообщества (например, стандартные Unsloth) обычно удаляют тензоры Multi-Token Prediction (mtp.) во время конвертации. Хотя это экономит минимальное дисковое пространство, это полностью отключает конвейер декодирования Native MTP на аппаратном уровне в Apple Silicon. Этот проект был создан для решения конкретных ограничений длинного контекста, с которыми сталкивается Apple Silicon: узкое место плотной скорости: плотные архитектуры, такие как Qwen3.6-27B, обеспечивают значительно более высокую точность кодирования, более четкие рассуждения и гораздо меньше повторяющихся циклов, чем разреженные установки MoE. Тем не менее, они, естественно, работают намного медленнее. Сохранение оригинальных головок MTP разблокирует ускорение генерации ~ 1,5x, чтобы сделать плотное кодирование полностью жизнеспособным локально. Преодоление стены контекста 128K: традиционные бэкенды, такие как LM Studio, часто испытывают серьезное ухудшение задержки или полностью забиваются, когда контекстные окна приближаются к маркерам 128K из-за неоптимизированной регенерации кэша KV. Переход на специализированную платформу oMLX…
Модальности:
Генерация текста
Области применения:
Генерация кода Диалог / чат
Задача: Генерация текста
Автор: Noctalin
Теги: mlx, qwen3_5, code, text-only, mtp, omlx, qwen3.6, qwen3.6-27B
Лайков: 3 | Загрузок: 146
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
