mlx-community/Huihui-gemma-4-12B-coder-fable5-composer2.5-v1-abliterated-4bit-msq

Mixed-precision MLX quantization of huihui-ai/Huihui-gemma-4-12B-coder-fable5-composer2.5-v1-abliterated, quantized with MLX Smart Quantize (MSQ) — my own sensitivity-based mixed-precision quantization method for Apple Silicon. It measures per-layer NMSE and assigns optimal bit widths automatically, combining architecture knowledge with measured data. — Type: Vision (VLM) — Average: 4.45 bits per weight — Method: MLX Smart Quantize (MSQ) — AWQ scaling: applied to 96 groups

Модальности:
Генерация текста

Области применения:
Генерация кода Логика и рассуждение Диалог / чат

Задача: Генерация текста
Автор: mlx-community
Теги: gemma4_unified, image-text-to-text, abliterated, uncensored, gemma4, coding, code, reasoning
Лайков: 4  |  Загрузок: 81

Открыть на HuggingFace →

Описание основано на материалах HuggingFace. Перевод выполнен автоматически.