Чат AWQ — это эффективный, точный и невероятно быстрый метод квантования с низким битовым весом, который в настоящее время поддерживает 4-разрядное квантование. По сравнению с GPTQ, он предлагает более быстрый вывод на основе трансформаторов с эквивалентным или лучшим качеством по сравнению с наиболее часто используемыми настройками GPTQ. Модели AWQ в настоящее время поддерживаются в Linux и Windows, только с графическими процессорами NVidia. для пользователей macOS: используйте модели GGUF. — Генерация текста Webui — использование загрузчика: AutoAWQ — vLLM — версия 0.2.2 или более поздняя для поддержки всех типов моделей. — Hugging Face Text Generation Inference (TGI) — Трансформаторы версии 4.35.0 и более поздней, из любого кода или клиента, который поддерживает Transformers — AutoAWQ — для использования с моделью(моделями) кода Python AWQ для вывода графического процессора. Модели GPTQ для вывода GPU с несколькими параметрами квантования. 2, 3,…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: TheBloke
Теги: mistral, merge, mergekit, lazymergekit, fblgit/UNA-TheBeagle-7b-v1, argilla/distilabeled-Marcoro14-7B-slerp, dpo, rlhf
Лайков: 3 | Загрузок: 16
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
