I used Google Colab to quantize/nest the Llama 2 7B model. Should help out those who wish to use Llama 2 7B on a low-end computer. GPU is still recomended…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: TransformerTales
Теги: llama, text-generation-inference, endpoints_compatible, 8-bit
Лайков: 2 | Загрузок: 5
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.