4-битный квант MLX смешанной точности, созданный с помощью mlx-optiq — инструментария квантования с учетом чувствительности для Apple Silicon. Он превосходит стандартный равномерный 4-битный по шестиметрическому показателю Capability Score и остается заметно ближе к исходным весам bf16 (KL 0,58 против 1,44). 4-битный квант MLX смешанной точности от mlx-community/VibeThinker-3B (модель рассуждений, доработанная на основе Qwen2.5-Coder-3B). Per-layer bit-widths come from a KL-divergence sensitivity pass on a six-domain calibration mix (prose · reasoning · code · agent · tool-call · constraint-bearing instructions). Sensitive layers go to 8-bit; robust ones stay at 4-bit. We follow the same naming convention llama.cpp uses for Q4KM and similar mixed-precision quants: the «4-bit» label is for the predominant precision, not the weighted average. The few sensitive layers held at 8-bit make this build +0.5 GB larger than a stock uniform-4-bit quant (2.1 GB vs 1.6 GB) while recovering quality the uniform quant loses. This is a reasoning model — it emits a … block before its final answer. Give it room with maxtokens`. For more (mixed-precision KV-cache serving, sensitivity-aware LoRA fine-tuning, OpenAI + Anthropic-compatible inference server with…
Модальности:
Генерация текста
Области применения:
Логика и рассуждение Диалог / чат
Задача: Генерация текста
Автор: mlx-community
Теги: mlx, qwen2, quantized, mixed-precision, 4bit, 8bit, optiq, apple-silicon
Лайков: 3 | Загрузок: 145
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
