Чат и поддержка: сервер Discord TheBloke Хотите внести свой вклад? Страница TheBloke на Patreon Работа TheBloke в области LLM щедро поддерживается грантом Андреессена Горовица (a16z) — Создатель модели: Джон Дурбин — Исходная модель: Airoboros 180B 2.2.1. Этот репозиторий содержит файлы моделей AWQ для Airoboros 180B 2.2.1 Джона Дурбина. Эти файлы были квантованы с использованием оборудования, любезно предоставленного Massed Compute. AWQ — это эффективный, точный и невероятно быстрый метод квантования с низким весом, который в настоящее время поддерживает 4-битное квантование. По сравнению с GPTQ он обеспечивает более быстрый вывод на основе преобразователей с эквивалентным или лучшим качеством по сравнению с наиболее часто используемыми настройками GPTQ. — Генерация текста Webui — с использованием загрузчика: AutoAWQ — vLLM — Только модели Llama и Mistral — Вывод генерации текста Hugging Face (TGI) — AutoAWQ — для использования из моделей AWQ кода Python для вывода на графическом процессоре. 2, 3, 4, 5, 6 и 8-битные модели GGUF для вывода CPU+GPU * Исходная неквантованная модель fp16 Джона Дурбина в формате pytorch, для вывода GPU и для дальнейших преобразований. Для моего первого выпуска моделей AWQ я выпускаю только модели 128g. Я тоже рассмотрю возможность добавления 32г, если будет интерес, а раз уж растерялся…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: TheBloke
Теги: falcon, text-generation-inference, 4-bit, awq
Лайков: 6 | Загрузок: 6
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
