— Квантование: oQ8 (смешанная точность, управляемая чувствительностью, размер группы = 64) — Формат: MLX Safetensors — Совместимость с:** mlx-lm, mlx-vlm, oMLX на Apple Silicon oQ измеряет чувствительность квантования каждого слоя посредством калибровки и распределяет биты там, где они наиболее важны — критические слои остаются с более высокой точностью, толерантные слои агрессивно сжимаются. Предоставляются целевые средние значения 2/3/4/6/8 бит; Фактические биты на уровне зависят от измеренной чувствительности. Сравнительные тесты и отзывы приветствуются — пожалуйста, откройте обсуждение.
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: bearzi
Теги: mlx, qwen3_5_moe, omlx, oq, oq8, quantized, conversational, 8-bit
Лайков: 5 | Загрузок: 209
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
