Чат и поддержка: сервер Discord TheBloke Хотите внести свой вклад? Страница TheBloke на Patreon Работа TheBloke в области LLM щедро поддерживается грантом от Андреессена Горовица (a16z) — Создатель модели: Mistral AI — Исходная модель: Mistral 7B v0.1. Этот репозиторий содержит файлы моделей AWQ для Mistral AI Mistral 7B v0.1. AWQ — это эффективный, точный и невероятно быстрый метод квантования с низким весом, который в настоящее время поддерживает 4-битное квантование. По сравнению с GPTQ, он предлагает более быстрый вывод на основе преобразователей. Это первые экспериментальные AWQ для нового модельного формата Mistral. По состоянию на 29 сентября 2023 г. они поддерживаются только AutoAWQ (версия 0.1.1+). Для использования AutoAWQ требуется установка AutoAWQ и Transformers с Github. Более подробная информация приведена ниже. Модель(и) AWQ для вывода с помощью графического процессора. Модели GPTQ для вывода графического процессора с несколькими вариантами параметров квантования. 2, 3, 4, 5, 6 и 8-битные модели GGUF для вывода CPU+GPU. Исходная неквантованная модель fp16 от Mistral AI в формате pytorch, для вывода GPU и дальнейших преобразований. Для моего первого выпуска моделей AWQ я выпускаю только модели 128g. Я рассмотрю возможность добавления и 32г, если будет интерес, а раз уж закончил недоумение и…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: TheBloke
Теги: mistral, pretrained, text-generation-inference, 4-bit, awq
Лайков: 33 | Загрузок: 610
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
