mobiuslabsgmbh/Llama-2-7b-hf-4bit_g64-HQQ - Каталог нейросетей
Генерация текста

mobiuslabsgmbh/Llama-2-7b-hf-4bit_g64-HQQ

Добавлено:

This is a version of the LLama-2-7B-hf model quantized to 4-bit via Half-Quadratic Quantization (HQQ): https://mobiusml.github.io/hqq_blog/ Limitations: -Only supports single GPU runtime. -Not compatible with HuggingFace’s PEFT.

Модальности:
Генерация текста


Задача: Генерация текста
Автор: mobiuslabsgmbh
Теги: llama
Лайков: 2  |  Загрузок: 11

Открыть на HuggingFace →

Описание основано на материалах HuggingFace. Перевод выполнен автоматически.

Теги: #llama