— Quantization: oQ2 (sensitivity-driven mixed precision, groupsize=64) — Format: MLX safetensors — Compatible with:** mlx-lm, mlx-vlm, oMLX on Apple Silicon oQ measures per-layer quantization sensitivity through calibration and allocates bits where they matter most — critical layers stay at higher precision, tolerant layers compress aggressively. Target averages of 2/3/4/6/8 bits are provided; actual per-layer bits vary by measured sensitivity. Comparative benchmarks and feedback welcome — please open a discussion.
Модальности:
Генерация текста
Области применения:
Диалог / чат Генерация кода
Задача: Генерация текста
Автор: bearzi
Теги: mlx, qwen3_next, omlx, oq, oq2, quantized, conversational, 2-bit
Лайков: 3 | Загрузок: 228
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
