Каждый отдельный квант находится в отдельной ветке, как в репозиториях GPTQ The Bloke. Набор калибровочных данных, используемый для преобразования: wikitext-v2 Набор оценочных данных, используемый для расчета перплексии: wikitext-v2 Набор калибровочных данных, используемый для преобразования 50-bpw-h8-evol-ins: WizardLM-evol-instruct70k Набор оценочных данных, используемый для расчета ppl для Evol-Ins: : nikrosh-evol-instruct При преобразовании кванта 44-bpw-h8 дополнительно -mr 32 arg использовался. PPL измерялся с помощью скрипта test_inference.py exllamav2:
Модальности:
Генерация текста
Области применения:
Генерация кода
Задача: Генерация текста
Автор: latimar
Теги: llama
Лайков: 16 | Загрузок: 8
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
