Это 4-битная версия GPTQ WizardLM-30B-Uncensored-Guanaco-SuperCOT-30b, квантованная с использованием фиксации df77083 GPTA-for-LLaMa со следующими настройками: Протестировано в oobabooga с использованием ветки GPTQ triton. Никаких гарантий совместимости.
Модальности:
Генерация текста
Задача: Генерация текста
Автор: benjicolby
Теги: llama, text-generation-inference, endpoints_compatible
Лайков: 9 | Загрузок: 10
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.