Чат Предусмотрено несколько перестановок параметров GPTQ; см. Предоставленные файлы ниже для получения подробной информации о предоставляемых опциях, их параметрах и программном обеспечении, используемом для их создания. Эти файлы были квантованы с использованием оборудования, любезно предоставленного Massed Compute. Модель(и) AWQ для вывода GPU. Модели GPTQ для вывода GPU с несколькими параметрами квантования. 2, 3, 4, 5, 6 и 8-битные модели GGUF для исходной неквантовой модели fp16 стабилизации GPU в формате pytorch, для вывода GPU и для дальнейших преобразований Создатель исходной модели указал свою лицензию как [‘llama2’], и поэтому это квантование использовало ту же лицензию. Поскольку эта модель основана на Llama 2, на нее также распространяются условия лицензии Meta Llama 2, и файлы лицензий для них дополнительно включены. Поэтому его следует рассматривать как…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: TheBloke
Теги: llama, japanese-stablelm, causal-lm, ja, text-generation-inference, 4-bit, gptq
Лайков: 3 | Загрузок: 67
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
