Сборки GGUF из google/gemma-4-26B-A4B-it для llama.cpp / Ollama / LM Studio. Преобразован командой axteam с помощью llama.cpp (преобразован из оригинала BF16; шаблон чата встроен в GGUF). > Q4KM — это обычное значение по умолчанию (компромисс между размером и качеством). Q80 находится ближе всего к BF16. BF16** является неквантованным эталоном. Измеренное соответствие с файлом BF16 приведено в таблице ниже. > Архитектура: Gemma 4 · Mixture-of-Experts (мультимодальная; текстовая модель GGUF работает на языковой стороне). Эти файлы GGUF представляют собой квантование после обучения (PTQ), выполненное с помощью llama.cpp — веса BF16 квантуются по блокам (llama.cpp k-quants: масштабы по блокам со смешанным распределением по битовой ширине, уточненный раунд к ближайшему) без переобучения. Эта цепочка инструментов отличается от сборок AWQ/ NVFP4 vLLM, и это не QAT (обучение с учетом квантования, которое точно настраивает веса). Q80 остается ближе всего к BF16, Q4KM — это обычный компромисс между размером и качеством (см. измеренное соглашение ниже), а BF16 ` — это неквантовая ссылка для повторного количественного определения. llama.cpp b12005 (commit e0f142d, сборка CUDA) на NVIDIA B200, 2026-11-02, все слои на графическом процессоре, 16 окон из 2048 токенов из тестового набора WikiText-2 и из корейской Википедии…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: axteam
Теги: gguf, gemma, gemma4, llama.cpp, quantized, endpoints_compatible, conversational
Лайков: 3 | Загрузок: 2,263
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.