Чат и поддержка: сервер Discord TheBloke Хотите внести свой вклад? Страница TheBloke на Patreon Работа TheBloke в области LLM щедро поддерживается грантом от Андреессена Горовица (a16z) — Создатель модели: PygmalionAI — Исходная модель: Pygmalion 2 13B. Этот репозиторий содержит файлы моделей AWQ для Pygmalion 2 13B от PygmalionAI. AWQ — это эффективный, точный и невероятно быстрый метод квантования с низким весом, который в настоящее время поддерживает 4-битное квантование. По сравнению с GPTQ, он предлагает более быстрый вывод на основе преобразователей. Теперь он также поддерживается сервером непрерывной пакетной обработки vLLM, что позволяет использовать модели AWQ для высокопроизводительного параллельного вывода в сценариях с многопользовательским сервером. Обратите внимание, что на момент написания общая пропускная способность все еще ниже, чем при использовании vLLM с неквантованными моделями, однако использование AWQ позволяет использовать гораздо меньшие графические процессоры, что может привести к более простому развертыванию и общей экономии затрат. Например, модель 70B может работать на одном графическом процессоре емкостью 48 ГБ вместо двух графических процессоров по 80 ГБ. Модель(и) AWQ для вывода с помощью графического процессора. Модели GPTQ для вывода графического процессора с несколькими вариантами параметров квантования. 2, 3, 4, 5, 6 и 8-битные модели GGUF для вывода CPU+GPU. Оригинальная неквантованная модель fp16 от PygmalionAI в формате pytorch для графического процессора…
Модальности:
Генерация текста
Области применения:
Следование инструкциям
Задача: Генерация текста
Автор: TheBloke
Теги: llama, text generation, instruct, en, text-generation-inference, 4-bit, awq
Лайков: 6 | Загрузок: 11
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
