GGUF строится для wangzhang/gemma-4-31B-it-abliterated, конвертированной из версии Safetensors Trial 40. Исходная модель была оптимизирована с помощью Abliterix с использованием предварительной оценки vLLM. В ходе финального запуска оптимизации в испытании 40 количество отказов при оценке сократилось с 99/100 на исходном уровне до 7/100, а дополнительный повтор из 15 подсказок с мягким чрезмерным отказом показал 0/15 отказов. Полные примечания по обучению и оценке см. в карточке исходной модели. Более старые устаревшие файлы GGUF также могут присутствовать в этом репозитории под более короткими именами. Для этого выпуска отдайте предпочтение двум файлам, перечисленным выше. Используйте последнюю сборку llama.cpp. Поддержка Gemma 4 является новой, поэтому старые двоичные файлы могут не загрузить эту модель. Быстрый локальный тест на MacBook Pro Apple M4 Max 128 ГБ с металлическим корпусом. Для систем с меньшим объемом памяти начните с Q4KM. Для лучшего качества на машинах с большим объемом памяти используйте Q5KM. Файлы GGUF были созданы из исходного кода Safetensors BF16 с помощью новейшего преобразователя llama.cpp, а затем квантованы с помощью llama-quantize. Во время преобразования llama.cpp сообщил: General.architecture = gemma4 и modality = text. Это экспериментальное преобразование исследовательской модели. Пользователи несут ответственность за оценку качества, безопасности, законности и…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: wangzhang
Теги: llama.cpp, gguf, gemma4, gemma, quantized, q4_k_m, q5_k_m, endpoints_compatible
Лайков: 8 | Загрузок: 438
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
