GLM-4.5-Air-GPTQ-Int4-Int8Mix
👋 Присоединяйтесь к нашей группе WeChat. 📖 Прочтите технический блог GLM-4.5. 📍 Используйте сервис API GLM-4.5 на открытой...
Метка: FP16Mix
GLM-4.5-Air-AWQ-FP16Mix
Модуль awqmarlin в vllm не проверяет параметр elementstonotconvert при загрузке модулей AWQ-MoE, что приводит к сбою смешанного квантования...