Чат По сравнению с GPTQ он обеспечивает более быстрое выполнение инференса на основе Transformers. Теперь он также поддерживается сервером непрерывной пакетной обработки vLLM, что позволяет использовать модели AWQ для параллельного вывода с высокой пропускной способностью в сценариях с многопользовательскими серверами. Обратите внимание, что на момент написания статьи общая пропускная способность по-прежнему ниже, чем при использовании vLLM с неквантованными моделями, однако применение AWQ позволяет использовать гораздо менее мощные графические процессоры, что может упростить развертывание и привести к общей экономии средств. Например, модель 70B можно запускать на одном графическом процессоре объемом 48 ГБ вместо двух по 80 ГБ. Модели AWQ для вывода на GPU. Модели GPTQ для вывода на GPU с несколькими вариантами параметров квантования. 2-, 3-, 4-, 5-, 6- и 8-битные модели GGUF для вывода на CPU и GPU Оригинальная неквантованная fp16-модель AIDC-ai-business в Pytorch…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: TheBloke
Теги: llama, en, text-generation-inference, 4-bit, awq
Лайков: 2 | Загрузок: 12
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.