TheBloke/speechless-code-mistral-7B-v1.0-AWQ - Каталог нейросетей
Генерация текста

TheBloke/speechless-code-mistral-7B-v1.0-AWQ

Добавлено:

Чат По сравнению с GPTQ он обеспечивает более быстрое выполнение инференса на основе Transformers. Теперь он также поддерживается сервером непрерывной пакетной обработки vLLM, что позволяет использовать модели Llama AWQ для параллельного вывода с высокой пропускной способностью в сценариях с многопользовательскими серверами. По состоянию на 25 сентября 2023 года предварительная поддержка AWQ только для Llama также была добавлена в Huggingface Text Generation Inference (TGI). Обратите внимание, что на момент написания статьи общая пропускная способность по-прежнему ниже, чем при использовании vLLM или TGI с неквантованными модеями, однако применение AWQ позволяет использовать гораздо менее мощные графические процессоры, что может упростить развертывание и снизить общие затраты. Например, модель 70B можно запускать на 1 графическом процессоре объемом 48 ГБ вместо 2 графических процессоров объемом 80 ГБ. Модели AWQ для инференса на GPU. Модели GPTQ для инференса на GPU,…

Модальности:
Генерация текста

Области применения:
Генерация кода


Задача: Генерация текста
Автор: TheBloke
Теги: mistral, llama-2, code, en, model-index, text-generation-inference, 4-bit, awq
Лайков: 2  |  Загрузок: 28

Открыть на HuggingFace →

Описание основано на материалах HuggingFace. Перевод выполнен автоматически.