Чат Предоставляются несколько перестановок параметров GPTQ. Подробную информацию о доступных вариантах, их параметрах и программном обеспечении, использованном для их создания, см. в разделе «Предоставленные файлы» ниже. Эти файлы были квантованы с использованием оборудования, любезно предоставленного компанией Massed Compute. Модели AWQ для вывода на GPU. Модели GPTQ для вывода на GPU с несколькими вариантами параметров квантования. 2-, 3-, 4-, 5-, 6- и 8-битные модели GGUF для вывода на CPU и GPU Оригинальная неквантованная fp16-модель KAIST AI в формате PyTorch для вывода на GPU и дальнейших преобразований Автор исходной модели указал ее лицензию как Apache 2.0, поэтому для этой квантизации была использована та же лицензия. Поскольку эта модель основана на Llama 2, на нее также распространяются условия лицензии Meta Llama 2, и соответствующие файлы лицензии также включены. Поэтому следует считать, что она предоставляется по лицензии в соответствии с обоими…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: TheBloke
Теги: llama, text2text-generation, en, text-generation-inference, 4-bit, gptq
Лайков: 2 | Загрузок: 12
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.