Чат Модели GPTQ для вывода GPU с несколькими вариантами параметров квантования. 2, 3, 4, 5, 6 и 8-битные модели GGUF для вывода GPU Оригинальная бесчисленная модель fp16 Яна в формате pytorch, для вывода GPU и для дальнейших преобразований Модели GPTQ в настоящее время поддерживаются в Linux (NVidia/AMD) и Windows (только NVidia). пользователи macOS: используйте модели GGUF. Эти модели GPTQ, как известно, работают в следующих серверах вывода/webuis. — text-generation-webui — KoboldAI United — LoLLMS Web UI — Hugging Face Text Generation Inference (TGI) Это может быть не полный список; если вы знаете других, пожалуйста, дайте мне знать! Предоставляются несколько параметров квантования, чтобы вы могли выбрать лучший для вашего оборудования и требований. Каждый отдельный…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: TheBloke
Теги: llama, conversational, en, text-generation-inference, 4-bit, gptq
Лайков: 3 | Загрузок: 14
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
