TheBloke/CodeLlama-34B-AWQ - Каталог нейросетей
Генерация текста

TheBloke/CodeLlama-34B-AWQ

Добавлено:

Чат Теперь AWQ также поддерживается сервером непрерывной пакетной обработки vLLM, что позволяет использовать модели AWQ для параллельного вывода с высокой пропускной способностью в сценариях с многопользовательскими серверами. Обратите внимание, что на момент написания статьи общая пропускная способность по-прежнему ниже, чем при использовании vLLM с неквантованными моделями, однако применение AWQ позволяет использовать гораздо менее мощные графические процессоры, что может упростить развертывание и снизить общие затраты. Например, модель 70B можно запускать на одном графическом процессоре объемом 48 ГБ вместо двух по 80 ГБ. Модели AWQ для вывода на GPU. Модели GPTQ для вывода на GPU с несколькими вариантами параметров квантования. 2-, 3-, 4-, 5-, 6- и 8-битные модели GGUF для вывода на CPU и GPU Оригинальная неквантованная модель fp16 от Meta в формате PyTorch для вывода на GPU и дальнейших преобразований. Для моего первого выпуска моделей AWQ я…

Модальности:
Генерация текста

Области применения:
Генерация кода


Задача: Генерация текста
Автор: TheBloke
Теги: llama, llama-2, code, text-generation-inference, 4-bit, awq
Лайков: 2  |  Загрузок: 51

Открыть на HuggingFace →

Описание основано на материалах HuggingFace. Перевод выполнен автоматически.