Это версия модели LLama-2-70B-hf, квантованная до 2 бит с помощью полуквадратичной квантизации (HQQ): https://mobiusml.github.io/hqq_blog/. Эта модель превосходит fp16 LLama-2-13B (неопределенность 4,13 против 4,63) при сопоставимом размере ~26 ГБ. Предупреждение: эта модель устарела, для нее требуется более ранняя версия hqq. Ограничения: — Поддерживается только среда выполнения с одним графическим процессором. — Не совместима с PEFT от HuggingFace.
Модальности:
Генерация текста
Задача: Генерация текста
Автор: mobiuslabsgmbh
Теги: llama
Лайков: 2 | Загрузок: 7
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.