Высококачественное квантование GLM-4.5-Air без использования imatrix. Смотрите это подробное руководство о том, как настроить ik_llama и как создавать пользовательские кванты. Quantized with ik_llama, but should work with any GGUF compatible inference framework.
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: anikifoss
Теги: gguf, conversational, no_imatrix, endpoints_compatible
Лайков: 3 | Загрузок: 32
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
