Чат и поддержка: сервер Discord TheBloke Хотите внести свой вклад? Страница TheBloke на Patreon Работа TheBloke в области LLM щедро поддерживается грантом от Андреессена Горовица (a16z) — Создатель модели: Mistral AI — Исходная модель: Mistral 7B Instruct v0.1. Этот репозиторий содержит файлы моделей AWQ для Mistral AI Mistral 7B Instruct v0.1. AWQ — это эффективный, точный и невероятно быстрый метод квантования с низким весом, который в настоящее время поддерживает 4-битное квантование. По сравнению с GPTQ, он предлагает более быстрый вывод на основе преобразователей. Это первые экспериментальные AWQ для нового модельного формата Mistral. По состоянию на 29 сентября 2023 г. они поддерживаются только моделями AWQ AutoAWQ (версия 0.1.1+) для вывода данных с помощью графического процессора. Модели GPTQ для вывода графического процессора с несколькими вариантами параметров квантования. 2, 3, 4, 5, 6 и 8-битные модели GGUF для вывода CPU+GPU. Исходная неквантованная модель fp16 от Mistral AI в формате pytorch, для вывода GPU и дальнейших преобразований. Для моего первого выпуска моделей AWQ я выпускаю только модели 128g. Я также рассмотрю возможность добавления 32g, если будет интерес, и как только я проведу недоумение и сравнение оценок, но в настоящее время модели 32g еще не полностью протестированы с…
Модальности:
Генерация текста
Области применения:
Следование инструкциям
Задача: Генерация текста
Автор: TheBloke
Теги: mistral, finetuned, text-generation-inference, 4-bit, awq
Лайков: 38 | Загрузок: 569
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
