MarkP1929/oasst-llama-13b-2-epochs-GPTQ-4bit-128g - Каталог нейросетей
Генерация текста

MarkP1929/oasst-llama-13b-2-epochs-GPTQ-4bit-128g

Добавлено:
MarkP1929/oasst-llama-13b-2-epochs-GPTQ-4bit-128g

This is a quantised version in safetensor format of the oasst-llama-13b-2-epochs model from dvruette/oasst-llama-13b-2-epochs It has a siginficant speed up for inference when used on oobabooga. Run with.. python server.py —model oasst-llama-13b-2-epochs-GPTQ-4bit-128g —wbits 4 —groupsize 128

Модальности:
Генерация текста


Задача: Генерация текста
Автор: MarkP1929
Теги: llama, text-generation-inference, endpoints_compatible
Лайков: 3  |  Загрузок: 55

Открыть на HuggingFace →

Описание основано на материалах HuggingFace. Перевод выполнен автоматически.