Чат По сравнению с GPTQ он обеспечивает более быстрое выполнение инференса на основе Transformers. Теперь он также поддерживается сервером непрерывной пакетной обработки vLLM, что позволяет использовать модели Llama AWQ для параллельного вывода с высокой пропускной способностью в сценариях с многопользовательскими серверами. По состоянию на 25 сентября 2023 года предварительная поддержка AWQ только для Llama также была добавлена в Huggingface Text Generation Inference (TGI). Обратите внимание, что на момент написания статьи общая пропускная способность по-прежнему ниже, чем при использовании vLLM или TGI с неквантованными моделями, однако применение AWQ позволяет использовать гораздо менее мощные графические процессоры, что может упростить развертывание и снизить общие затраты. Например, модель 70B можно запустить на одном графическом процессоре объемом 48 ГБ вместо двух объемом 80 ГБ. Модели AWQ для инференса на GPU. Модели GPTQ для инференса на GPU с несколькими…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: TheBloke
Теги: llama, de, en, text-generation-inference, 4-bit, awq
Лайков: 2 | Загрузок: 12
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.