Квантованный LLaMA от Meta AI в 4 битах с помощью алгоритма GPTQ v2. — Реализация llama13b-4bit-ts-ao-g128-v2.safetensors GPTQ — https://github.com/qwopqwop200/GPTQ-for-LLaMa/tree/49efe0b67db4b40eac2ae963819ebc055da64074 — Реализация llama13b-4bit-v2.safetensors GPTQ — https://github.com/qwopqwop200/GPTQ-for-LLaMa/tree/841feedde876785bc8022ca48fd9c3ff626587e2
Модальности:
Генерация текста
Задача: Генерация текста
Автор: sardukar
Теги: llama, endpoints_compatible
Лайков: 5 | Загрузок: 10
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.