mobiuslabsgmbh/Llama-2-70b-hf-2bit_g16_s128-HQQ - Каталог нейросетей
Генерация текста

mobiuslabsgmbh/Llama-2-70b-hf-2bit_g16_s128-HQQ

Добавлено:

Это версия модели LLama-2-70B-hf, квантованная до 2 бит с помощью полуквадратичной квантизации (HQQ): https://mobiusml.github.io/hqq_blog/. Эта модель превосходит fp16 LLama-2-13B (неопределенность 4,13 против 4,63) при сопоставимом размере ~26 ГБ. Предупреждение: эта модель устарела, для нее требуется более ранняя версия hqq. Ограничения: — Поддерживается только среда выполнения с одним графическим процессором. — Не совместима с PEFT от HuggingFace.

Модальности:
Генерация текста


Задача: Генерация текста
Автор: mobiuslabsgmbh
Теги: llama
Лайков: 2  |  Загрузок: 7

Открыть на HuggingFace →

Описание основано на материалах HuggingFace. Перевод выполнен автоматически.

Теги: #llama