GLM-4.5-exl3
2,00 bpw h6 84,517 ГиБ 3,00 bpw h6 125,398 ГиБ 4,00 bpw h6 166,280 ГиБ 5,00 bpw h6...
Метка: exl3
GLM-4.5-Air-exl3
exllamav3 квантование zai-org/GLM-4.5-Air. Обратите внимание, что поддержка этой модели в настоящее время находится в ветке разработки exllamav3. Несколько...
MiniMax-M2.5-exl3
exllamav3 квантование MiniMaxAI/MiniMax-M2.5. Квантовано с использованием коммита 89b841d ветки dev. Обратите внимание, что тензорный параллелизм в настоящее время...
GLM-4.6-exl3
2,06 bpw h6 86,376 ГиБ 2,25 bpw h6 94,139 ГиБ Файл измерений, использованный при создании вышеизложенного: Measure-20-vs-30.json exllamav3...
GLM-4.7-EXL3
> [!WARNING] > ⚠️ Для правильной поддержки рассуждений GLM-4.7 требуется PR #295 в TabbyAPI, см. мой модифицированный файл...