4bit/alpaca-7b-native-4bit - Каталог нейросетей
Генерация текста

4bit/alpaca-7b-native-4bit

Добавлено:
4bit/alpaca-7b-native-4bit

Это 4-битное квантование chavinlo/alpaca-native (cecc16d) через qwopqwop200/GPTQ-for-LLaMa (5cdfad2). llama.py /output/path c4 —wbits 4 —groupsize 128 —save alpaca7b-4bit.pt Пример вывода из репозитория GPTQ и фиксации, упомянутых выше:

Модальности:
Генерация текста


Задача: Генерация текста
Автор: 4bit
Теги: llama, endpoints_compatible
Лайков: 4  |  Загрузок: 11

Открыть на HuggingFace →

Описание основано на материалах HuggingFace. Перевод выполнен автоматически.