Чат Предусмотрено несколько перестановок параметров GPTQ; см. Предоставленные файлы ниже для получения подробной информации о предоставляемых опциях, их параметрах и программном обеспечении, используемом для их создания. Эти файлы были квантованы с использованием оборудования, любезно предоставленного Massed Compute. Модель(и) AWQ для вывода GPU. Модели GPTQ для вывода GPU с несколькими параметрами квантования. 2, 3, 4, 5, 6 и 8-битные модели GGUF для CPU GPU inference c.gato’s original unquantized fp16 model in pytorch format, для GPU inference and for further conversion GPTQ models are currently supported on Linux (NVidia/AMD) and Windows (NVidia only). macOS users: please use GGUF models. Эти модели GPTQ, как известно, работают в следующих серверах вывода/webuis. — text-generation-webui — KoboldAI United — LoLLMS Web UI — Hugging Face Text Generation Inference (TGI) Это может быть не полный список; если вы…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: TheBloke
Теги: mistral, not-for-all-audiences, text-generation-inference, 4-bit, gptq
Лайков: 3 | Загрузок: 11
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
