Чат и поддержка: сервер Discord TheBloke Хотите внести свой вклад? Страница TheBloke’s Patreon Работа TheBloke’s LLM щедро поддерживается грантом от andreessen horowitz (a16z) — Создатель модели: Doctor Shotgun — Оригинальная модель: Mixtral 8X7B Instruct V0.1 LimaRP ZLoss DARE TIES Этот репозиторий содержит файлы моделей GPTQ для Mixtral 8X7B Instruct V0.1 LimaRP ZLoss DARE TIES от Doctor Shotgun. Предусмотрено несколько перестановок параметров GPTQ; Подробную информацию о предоставляемых опциях, их параметрах и программном обеспечении, использованном для их создания, см. ниже в разделе «Предоставленные файлы». Эти файлы были квантованы с использованием оборудования, любезно предоставленного Massed Compute. Модель(и) AWQ для вывода с помощью графического процессора. Модели GPTQ для вывода графического процессора с несколькими вариантами параметров квантования. 2, 3, 4, 5, 6 и 8-битные модели GGUF для вывода CPU+GPU. Оригинальная неквантованная модель fp16 от Doctor Shotgun в формате pytorch для вывода GPU и дальнейших преобразований. Модели GPTQ в настоящее время поддерживаются в Linux (NVidia/AMD) и Windows (только NVidia). Пользователи macOS: используйте модели GGUF. Известно, что эти модели GPTQ работают на следующих серверах вывода/веб-интерфейсах. — text-generation-webui — KoboldAI United — Веб-интерфейс LoLLMS — Текст обнимающего лица…
Модальности:
Генерация текста
Области применения:
Следование инструкциям
Задача: Генерация текста
Автор: TheBloke
Теги: mixtral, mergekit, merge, text-generation-inference, 4-bit, gptq
Лайков: 6 | Загрузок: 10
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
