Чат и поддержка: сервер Discord TheBloke Хотите внести свой вклад? Страница TheBloke на Patreon Работа LLM компании TheBloke щедро поддерживается грантом от Андреессена Горовица (a16z) — Создатель модели: Intellligent Software Engineering (iSE — Исходная модель: Magicoder S DS 6.7B. Этот репозиторий содержит файлы моделей GPTQ для Intelligent Software Engineering (iSE’s Magicoder S DS 6.7B). Предоставляется несколько перестановок параметров GPTQ; см. предоставленные файлы Ниже приведена подробная информация о предоставленных опциях, их параметрах и программном обеспечении, использованном для их создания. Эти файлы были квантованы с использованием аппаратного обеспечения, любезно предоставленного моделью(ами) AWQ для моделей GPTQ для вывода GPU, с несколькими вариантами параметров квантования 2, 3, 4, 5, 6 и 8-битных моделей GGUF для интеллектуального программного обеспечения CPU+GPU (исходная неквантованная модель fp16 от iSE). pytorch, для вывода на графическом процессоре и для дальнейших преобразований модели GPTQ в настоящее время поддерживаются в Linux (NVidia/AMD) и Windows (только для пользователей macOS): используйте модели GGUF. Известно, что эти модели GPTQ работают на следующих серверах вывода/webui — KoboldAI United — LoLLMS Web UI — Hugging…
Модальности:
Генерация текста
Области применения:
Генерация кода
Задача: Генерация текста
Автор: TheBloke
Теги: llama, text-generation-inference, 4-bit, gptq
Лайков: 7 | Загрузок: 9
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
