MLX-квантование смешанной точности для yuxinlu1/gemma-4-12B-coder-fable5-composer2.5-v1, квантованное с помощью MLX Smart Quantize (MSQ) — моего собственного метода квантования смешанной точности на основе чувствительности для Apple Silicon. Он измеряет NMSE на каждом уровне и автоматически назначает оптимальную разрядность, сочетая знания об архитектуре с измеренными данными. — Тип: Vision (VLM). — Среднее значение: 4,5 бита на вес. — Метод: MLX Smart Quantize (MSQ). — Масштабирование AWQ: применяется к 96 группам.
Модальности:
Генерация текста
Области применения:
Генерация кода Логика и рассуждение Диалог / чат
Задача: Генерация текста
Автор: mlx-community
Теги: gemma4_unified, image-text-to-text, gemma4, coding, code, reasoning, thinking, conversational
Лайков: 6 | Загрузок: 523
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
