MLX/oMLX 4-битное преобразование r3lax/Qwen3.6-35B-A3B-Claude-4.7-Opus-Reasoning-Distilled с сохраненными тензорами Qwen MTP и протестированными во время выполнения в oMLX. Это не новая тренировка или доработка. Веса конвертировались/квантовались только для локального вывода MLX/oMLX. — Архитектура: Qwen3.6 35B-A3B MoE, примерно 3B активных параметров на токен. — Квантование: MLX в стиле oQ4, 4 бита, размер группы 64. — MTP: сохранен и проверен в oMLX. — Тестовое оборудование: Apple Silicon M5 Pro с унифицированной памятью 48 ГБ. — Время выполнения протестировано с включенным собственным MTP oMLX. Поддержка MTP зависит от времени выполнения. Эти тензоры сохраняются, но среды выполнения, отличные от oMLX, могут их игнорировать. Измерено на Mac M5 Pro с унифицированной памятью 48 ГБ с использованием oMLX. Это локальные показатели дымности, а не универсальный ориентир. Подсказка, состояние кэша, пакетная обработка, версия oMLX и аппаратное обеспечение изменят результаты. Поместите модель в каталог модели oMLX и включите собственный MTP: — Qwen/Qwen3.6-35B-A3B для базовой модели. — lordx64/Qwen3.6-35B-A3B-Claude-4.7-Opus-Reasoning-Distilled для дистилляции рассуждений Клода Опуса 4.7. — r3lax/Qwen3.6-35B-A3B-Claude-4.7-Opus-Reasoning-Distilled для контрольной точки источника, используемой здесь. — Антропный Клод Опус 4.7 как…
Модальности:
Генерация текста
Области применения:
Логика и рассуждение Диалог / чат
Задача: Генерация текста
Автор: stamsam
Теги: mlx, qwen3_5_moe, omlx, qwen, qwen3.6, moe, reasoning, distillation
Лайков: 10 | Загрузок: 7,379
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
