— Квантование: oQ4 (смешанная точность, управляемая чувствительностью, размер группы = 64) — Формат: MLXsafetensors — Совместимость с:** mlx-lm, mlx-vlm, oMLX на Apple Silicon oQ измеряет чувствительность квантования каждого слоя посредством калибровки и распределяет биты там, где они наиболее важны — критические слои остаются с более высокой точностью, толерантные слои агрессивно сжимаются. Предоставляются целевые средние значения 2/3/4/6/8 бит; Фактические биты на уровне зависят от измеренной чувствительности. Сравнительные тесты и отзывы приветствуются — пожалуйста, откройте обсуждение.
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: bearzi
Теги: mlx, qwen3_5_moe, omlx, oq, oq4, quantized, conversational, 4-bit
Лайков: 5 | Загрузок: 192
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
