Этот репозиторий содержит несколько пользовательских квантов GLM-4.5, которые ориентированы на несколько различных схем по сравнению с обычными схемами квантования. Идея состоит в том, что, учитывая огромный размер тензоров FFN по сравнению с остальными тензорами в модели, можно добиться лучшего качества, сохраняя при этом общий размер всей модели меньшим по сравнению с аналогичным наивным квантованием. Следующие диаграммы демонстрируют очень широкий спектр квантов GLM-4.5, которые были протестированы на дивергенцию KL с использованием эталонных логитов и корпуса, включенных в этот репозиторий: GLM-4.5-KLD-8192-ref-logits-ed-combined-all-micro-Q80.bin и Combinedallmicro.txt` Полный CSV с данными также включен в glm-4.5-quantization-output.csv. Соглашение об именах (непоследовательно) обычно следующее: [Тип по умолчанию]-[FFNUP]-[FFNGATE]-[FFNDOWN], например: Q6K-IQ2S-IQ2S-IQ3S. Это означает: — Q6K является типом по умолчанию (внимание, общий эксперт и т. д.) — IQ2S использовался для тензоров условных экспертов FFNUP и FFNGATE — IQ3S использовался для тензоров условных экспертов FFN_DOWN. Вообще говоря, кванты, следующие приведенному выше соглашению, как правило, имеют лучшие KLD и PPL по сравнению с квантовами от других поставщиков.
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: QuantPasture
Теги: gguf, endpoints_compatible, imatrix, conversational
Лайков: 6 | Загрузок: 146
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
