Все заслуги принадлежат этому удивительному проекту: https://github.com/FreedomIntelligence/LLMZoo Преобразовано с помощью python llama.py ./chimera-7b c4 —wbits 4 —true-sequential —groupsize 128 —save chimera7b-4bit-128g.pt Он использует размер группы 128. Не использует порядок действий и квантовается с помощью oobabooga gpt-q, чтобы там все работало. Кому-нибудь нужна версия 13b? (Редактировать: сейчас не могу сделать это, так как у меня возникают ошибки памяти только во время квантования.)
Модальности:
Генерация текста
Задача: Генерация текста
Автор: CyberTimon
Теги: llama, text-generation-inference, endpoints_compatible
Лайков: 7 | Загрузок: 6
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
