tsumeone/vicuna-13B-1.1-GPTQ-4bit-128g-cuda

Один из них уже есть по адресу https://huggingface.co/TheBloke/vicuna-13B-1.1-GPTQ-4bit-128g, но ни одна из загруженных ими версий не работает с некоторыми более старыми версиями GPTQ-for-LLaMA (например, с форком 0cc4m, который используется с их форком KoboldAI).

Модальности:
Генерация текста

Задача: Генерация текста
Автор: tsumeone
Теги: llama, text-generation-inference, endpoints_compatible
Лайков: 5  |  Загрузок: 5

Открыть на HuggingFace →

Описание основано на материалах HuggingFace. Перевод выполнен автоматически.