This repository contains an MLX NVFP4 4-bit quantization of the BF16 parent model. — This quantized build is provided for smaller local inference deployments. — The included MLX chat template uses a direct instruction format for clean local text-generation output. — For benchmark numbers and validation details, see the BF16 parent repository.
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: Jiunsong
Теги: mlx, gemma4, abliterated, nvfp4, 4-bit, quantized, conversational, en
Лайков: 3 | Загрузок: 153
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.