Чат По сравнению с GPTQ он обеспечивает более быстрое выведение на основе Transformers. Теперь он также поддерживается сервером непрерывной пакетной обработки vLLM, что позволяет использовать модели Llama AWQ для параллельного вывода с высокой пропускной способностью в сценариях с многопользовательскими серверами. По состоянию на 25 сентября 2023 года предварительная поддержка AWQ только для Llama также была добавлена в Huggingface Text Generation Inference (TGI). Обратите внимание, что на момент написания статьи общая пропускная способность по-прежнему ниже, чем при использовании vLLM или TGI с неквантованными модеями, однако применение AWQ позволяет использовать гораздо менее мощные графические процессоры, что может упростить развертывание и снизить общие затраты. Например, модель 70B можно запускать на одном графическом процессоре объемом 48 ГБ вместо двух по 80 ГБ. Модели AWQ для инференса на GPU. Модели GPTQ для инференса на GPU с множественной квантизацией…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: TheBloke
Теги: llama, text-generation-inference, 4-bit, awq
Лайков: 2 | Загрузок: 6
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.