Использование https://github.com/qwopqwop200/GPTQ-for-LLaMa ветки тритона python llama.py CodeCapybara/ c4 —wbits 4 —true-sequential —act-order —groupsize 128 —save_safetensors codecapybara-4bit-128g-gptq.safetensors
Модальности:
Генерация текста
Задача: Генерация текста
Автор: catalpa
Теги: llama, endpoints_compatible
Лайков: 4 | Загрузок: 9
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.