This is a version of the LLama-2-7B-hf model quantized to 4-bit via Half-Quadratic Quantization (HQQ): https://mobiusml.github.io/hqq_blog/ Limitations: -Only supports single GPU runtime. -Not compatible with HuggingFace’s PEFT.
Модальности:
Генерация текста
Задача: Генерация текста
Автор: mobiuslabsgmbh
Теги: llama
Лайков: 2 | Загрузок: 11
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.