Чат Предусмотрено несколько перестановок параметров GPTQ; см. Предоставленные файлы ниже для получения подробной информации о предоставляемых опциях, их параметрах и программном обеспечении, используемом для их создания. Модель(и) AWQ для вывода GPU. Модели GPTQ для вывода GPU с несколькими параметрами квантования. 2, 3, 4, 5, 6 и 8-битные модели GGUF для CPU GPU inference garage-bAInd’s original unquantized fp16 model in pytorch format, для GPU inference и для дальнейших преобразований Предусмотрено несколько параметров квантования, чтобы вы могли выбрать лучший для вашего оборудования и требований. Каждый отдельный квант находится в отдельной ветви. Ниже приведены инструкции по загрузке из разных ветвей. Все последние файлы GPTQ создаются с помощью AutoGPTQ, а все файлы в неосновных ветвях создаются с помощью AutoGPTQ. Файлы в основной ветке, которые были загружены до августа 2023 года, были сделаны с помощью…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: TheBloke
Теги: llama, en, text-generation-inference, 4-bit, gptq
Лайков: 3 | Загрузок: 137
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
