> TL;DR: 12,63 ГБ MLX-квант Qwen3,6-35B-A3B. На 16,8% меньше, чем у населения > TurboQuant-3bit MLX-квант при статистически связанной недоумении WikiText-2. Нагрузки со складом > mlx-lm, без пользовательского загрузчика. Квантование смешанной точности Qwen/Qwen3.6-35B-A3B на модуль для Apple Silicon / MLX. Ширина бита и размер группы каждого квантованного тензора были выбраны эволюционным поиском (OpenEvolve/ MAP-Elites ), который минимизирует память при бюджете недоумения, а не единообразной настройке. Пользователи Apple Silicon local-LLM обычно получают плохой компромисс: — 4-бит работает, но стоит памяти — 3-бит экономит память, но качество может упасть — умные пользовательские квантовые рецепты часто нуждаются в пользовательских загрузчиках Этот релиз — скучный полезный момент: меньше, чем известный 3-бит квант, та же измеренная растерянность и все еще просто mlxlm.load(…).** Растерянность в тесте WikiText-2-raw (~16 260 токенов, идентичный конвейер для каждой модели, включая реальную общедоступную модель TurboQuant). Чем ниже, тем лучше. ≈ 2,6 эффективных битов на вес. Δppl против TurboQuant (−0,007) находится в пределах шума измерения, поэтому читайте это как «меньше при равном качестве», а не как качественный выигрыш. Объединенные маршрутизируемые эксперты (mlp.switchmlp.*`) несут ~90% байтов веса, поэтому…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: inductiveML
Теги: mlx, qwen3_5_moe, quantization, mixed-precision, evolved-quantization, conversational, en, 4-bit
Лайков: 3 | Загрузок: 190
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
