Чат Эти файлы были квантованы с использованием оборудования, любезно предоставленного компанией Massed Compute. Модели AWQ для вывода на GPU. Модели GPTQ для вывода на GPU с несколькими вариантами параметров квантования. 2-, 3-, 4-, 5-, 6- и 8-битные модели GGUF для вывода на CPU и GPU Оригинальная неквантованная модель fp16 от FBL в формате PyTorch для вывода на GPU и дальнейших преобразований. Известно, что эти модели GPTQ работают на следующих серверах вывода/веб-интерфейсах. — text-generation-webui — KoboldAI United — LoLLMS Web UI — Hugging Face Text Generation Inference (TGI) Возможно, этот список неполный. Если вы знаете о других проектах, пожалуйста, сообщите мне! Предусмотрено несколько параметров квантования, что позволяет выбрать оптимальный вариант для вашего оборудования и требований. Каждая отдельная квантизация находится в отдельной ветке. Ниже представлена информация о…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: TheBloke
Теги: mistral, alignment-handbook, generated_from_trainer, text-generation-inference, 4-bit, gptq
Лайков: 2 | Загрузок: 24
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.