Чат По сравнению с GPTQ он обеспечивает более быстрое выполнение инференса на основе Transformers. Теперь он также поддерживается сервером непрерывной пакетной обработки vLLM, что позволяет использовать модели Llama AWQ для параллельного вывода с высокой пропускной способностью в сценариях с многопользовательскими серверами. По состоянию на 25 сентября 2023 года предварительная поддержка AWQ только для Llama также была добавлена в Huggingface Text Generation Inference (TGI). Note that, at the time of writing, overall throughput is still lower than running vLLM or TGI with unquantised models, however using AWQ enables using much smaller GPUs which can lead to easier deployment and overall cost savings. For example, a 70B model can be run on 1 x 48GB GPU instead of 2 x 80GB. AWQ model(s) for GPU inference. GPTQ models for GPU inference, with…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: TheBloke
Теги: mistral, de, en, text-generation-inference, 4-bit, awq
Лайков: 2 | Загрузок: 16
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.