Чат и поддержка: Neboola AI Telegram и объявления Хотите внести свой вклад? Страница Neboola на Github Предусмотрено несколько перестановок параметров GPTQ; Подробную информацию о предоставляемых опциях, их параметрах и программном обеспечении, использованном для их создания, см. ниже в разделе «Предоставленные файлы». Эти файлы были квантованы с использованием оборудования, любезно предоставленного Massed Compute. Известно, что эти модели GPTQ работают на следующих серверах вывода/веб-интерфейсах. — text-generation-webui — KoboldAI United — LoLLMS Web UI — Hugging Face Text Generation Inference (TGI) Чтобы загрузить из другой ветки, добавьте параметр —revision: Если вы удалите параметр —local-dir-use-symlinks False, файлы вместо этого будут храниться в центральном каталоге кэша Hugging Face (по умолчанию в Linux: ~/.cache/huggingface), а символические ссылки будут добавлены в указанный каталог. —local-dir, указывающий на их реальное местоположение в кеше. Это позволяет возобновить прерванную загрузку и быстро клонировать репозиторий в несколько мест на диске, не запуская повторную загрузку. Недостаток и причина, по которой я не указываю это как вариант по умолчанию, заключается в том, что файлы затем скрываются в папке кэша, и это труднее узнать…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: neboolaai
Теги: mistral, text-generation-inference, 4-bit, gptq
Лайков: 5 | Загрузок: 7
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
