Это версия Huihui-GLM-4.5-Air-abliterated-GGUF с потерями защитных тензоров, которую можно запускать с преобразователями Huggingface, поскольку исходная версия не включала файлы защитных тензоров. Он был вручную конвертирован обратно в .safetensors из файла Q4KM GGUF. Таким образом, хотя веса теперь указаны в BF16, это считается версией с потерями качества и более низкого качества по сравнению с полноточной моделью. Однако теперь вы сможете использовать его с серверами, которые не могут использовать GGUF и требуют безопасных тензоров (например, MLX, VLLM). Избегайте повторного квантования в форматы выше Q4KM — дополнительного качества вы НЕ получите. Если вам нужна версия максимальной точности, вам придется купить ее в Huihui.
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: concedo
Теги: glm4_moe, abliterated, uncensored, conversational, en, zh, endpoints_compatible
Лайков: 5 | Загрузок: 29
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
