Чат AWQ — это эффективный, точный и невероятно быстрый метод квантования с низким битовым весом, который в настоящее время поддерживает 4-разрядное квантование. По сравнению с GPTQ, он предлагает более быстрый вывод на основе трансформаторов с эквивалентным или лучшим качеством по сравнению с наиболее часто используемыми настройками GPTQ. — Text Generation Webui — использование Loader: AutoAWQ — vLLM — только модели Llama и Mistral — Hugging Face Text Generation Inference (TGI) — AutoAWQ — для использования из моделей кода Python AWQ для вывода GPU. Модели GPTQ для вывода графического процессора с несколькими вариантами параметров квантования. 2, 3, 4, 5, 6 и 8-битные модели GGUF для вывода графического процессора Nobody.png оригинальная бесчисленная модель fp16 в формате pytorch, для вывода графического процессора и для дальнейших преобразований Создатель исходной модели указал свою лицензию как MIT, и это…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: TheBloke
Теги: llama, text-generation-inference, 4-bit, awq
Лайков: 3 | Загрузок: 12
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
