Экспериментальное квантование exl2 для CausalLM-14B для Exllamav2. У меня были некоторые проблемы во время процесса квантования, поэтому я подозреваю, что у него могут быть проблемы с качеством. Версия 3.5bpw едва подходит для моей VRAM 12 ГБ, но имеет необычно высокую степень недоумения для набора данных wikitext. Я не мог измерить недоумение для версии 4bpw и сравнить его с GPTQ TheBloke, поэтому я понятия не имею, есть ли у моего квантования проблемы или оно должно быть таким. Вы можете попробовать эту версию exl2, но я бы порекомендовал вместо этого использовать версию GPTQ TheBloke. Этот метод квантования использует графический процессор и требует загрузчика Exllamav2, который можно найти в следующих приложениях: Изображение, нарисованное GPT-4 DALL·E 3 TL;DR: Возможно, лучше, чем все существующие модели < 70B, в большинстве количественных оценок… INVALID LANGUAGE PAIR SPECIFIED. EXAMPLE: LANGPAIR=EN|IT USING 2 LETTER ISO OR RFC3066 LIKE ZH-CN. ALMOST ALL LANGUAGES SUPPORTED BUT SOME MAY HAVE NO CONTENT
Модальности:
Генерация текста
Задача: Генерация текста
Автор: cgus
Теги: llama, llama2, en, zh
Лайков: 3 | Загрузок: 26
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
