Чат По сравнению с GPTQ он обеспечивает более быстрое выполнение инференса на основе Transformers. Теперь он также поддерживается сервером непрерывной пакетной обработки vLLM, что позволяет использовать модели AWQ для параллельного вывода с высокой пропускной способностью в сценариях с многопользовательскими серверами. Обратите внимание, что на момент написания статьи общая пропускная способность по-прежнему ниже, чем при использовании vLLM с неквантованными моделями, однако применение AWQ позволяет использовать гораздо менее мощные графические процессоры, что может упростить развертывание и снизить общие затраты. Например, модель 70B можно запускать на одном графическом процессоре с 48 ГБ памяти вместо двух с 80 ГБ. Модели AWQ для инференса на GPU. Модели GPTQ для инференса на GPU с несколькими вариантами параметров квантования. 2-, 3-, 4-, 5-, 6- и 8-битные модели GGUF для инференса на CPU и GPU Оригинальная неквантованная модель fp16 от Meta в формате PyTorch для инференса на GPU…
Модальности:
Генерация текста
Области применения:
Генерация кода
Языки программирования:
Python
Задача: Генерация текста
Автор: TheBloke
Теги: llama, llama-2, code, text-generation-inference, 4-bit, awq
Лайков: 2 | Загрузок: 60
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.