Чат и поддержка: сервер Discord TheBloke Хотите внести свой вклад? Страница TheBloke на Patreon Работа TheBloke в области LLM щедро поддерживается грантом от Андреессена Горовица (a16z) — Создатель модели: Mistral AI — Исходная модель: Mistral 7B Instruct v0.1. Этот репозиторий содержит файлы моделей GPTQ для Mistral AI Mistral 7B Instruct v0.1. Предусмотрено несколько перестановок параметров GPTQ; Подробную информацию о предоставляемых опциях, их параметрах и программном обеспечении, использованном для их создания, см. ниже в разделе «Предоставленные файлы». На момент написания (28 сентября) AutoGPTQ еще не добавил поддержку новых моделей Mistral. Эти GPTQ были созданы непосредственно из Transformers, поэтому их можно загрузить через интерфейс Transformers. Их нельзя загрузить напрямую из AutoGPTQ. Чтобы загрузить их через Transformers, вам необходимо установить Transformers с Github вместе с: моделями AWQ для вывода с помощью графического процессора. Модели GPTQ для вывода графического процессора с несколькими вариантами параметров квантования. 2, 3, 4, 5, 6 и 8-битные модели GGUF для вывода CPU+GPU. Исходная неквантованная модель fp16 Mistral AI в формате pytorch, для вывода GPU и дальнейших преобразований. Предоставляется несколько параметров квантования, чтобы вы могли выбрать лучший…
Модальности:
Генерация текста
Области применения:
Диалог / чат Следование инструкциям
Задача: Генерация текста
Автор: TheBloke
Теги: mistral, finetuned, conversational, text-generation-inference, 4-bit, gptq
Лайков: 84 | Загрузок: 486
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
