Это 4-битная версия Auto-J-13B GPTQ. Мы конвертируем его с помощью этого скрипта (от TheBroke). Чтобы использовать 4-битную версию Auto-J, вам необходимо установить следующие пакеты: Для загрузки этой модели требуется около 8 ГБ видеопамяти, и мы предоставляем пример ее использования в examplegptq4bits.py. Обратите внимание, что поведение квантованной модели и исходной может отличаться.
Модальности:
Генерация текста
Задача: Генерация текста
Автор: GAIR
Теги: llama, en, text-generation-inference, endpoints_compatible, 4-bit, gptq
Лайков: 4 | Загрузок: 28
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
