benjicolby/WizardLM-30B-Guanaco-SuperCOT-GPTQ-4bit - Каталог нейросетей
Генерация текста

benjicolby/WizardLM-30B-Guanaco-SuperCOT-GPTQ-4bit

Добавлено:
benjicolby/WizardLM-30B-Guanaco-SuperCOT-GPTQ-4bit

Это 4-битная версия GPTQ WizardLM-30B-Uncensored-Guanaco-SuperCOT-30b, квантованная с использованием фиксации df77083 GPTA-for-LLaMa со следующими настройками: Протестировано в oobabooga с использованием ветки GPTQ triton. Никаких гарантий совместимости.

Модальности:
Генерация текста


Задача: Генерация текста
Автор: benjicolby
Теги: llama, text-generation-inference, endpoints_compatible
Лайков: 9  |  Загрузок: 10

Открыть на HuggingFace →

Описание основано на материалах HuggingFace. Перевод выполнен автоматически.