Чат Модели GPTQ для вывода на GPU с несколькими вариантами параметров квантизации. 8-, 6-, 5-, 4-, 3- и 2-битные модели GGUF для вывода на CPU и GPU Оригинальная неквантованная fp16-модель 01-ai в формате PyTorch для вывода на GPU и дальнейших преобразований Эти модели GPTQ, как известно, работают на следующих серверах вывода/веб-интерфейсах. — text-generation-webui — KoboldAI United — LoLLMS Web UI — Hugging Face Text Generation Inference (TGI) Возможно, это не полный список. Если вы знаете о других проектах, пожалуйста, сообщите мне! Предусмотрено несколько параметров квантования, что позволяет выбрать оптимальный вариант для вашего оборудования и требований. Каждый отдельный параметр квантования находится в отдельной ветке. Ниже приведены инструкции по получению данных из разных ветвей. Большинство GPTQ…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: TheBloke
Теги: Yi, custom_code, 4-bit, gptq
Лайков: 2 | Загрузок: 22
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.