TheBloke/qCammel-70-x-GPTQ - Каталог нейросетей
Генерация текста

TheBloke/qCammel-70-x-GPTQ

Добавлено:

Чат Модели GPTQ для вывода на GPU с несколькими вариантами параметров квантизации. 8-, 6-, 5-, 4-, 3- и 2-битные модели GGUF для вывода на CPU и GPU. Оригинальная неквантованная fp16-модель от augtoma в формате PyTorch для вывода на GPU и для дальнейших преобразований. Создатель исходной модели указал ее лицензию как «другая», поэтому для этой квантизации использовалась та же лицензия. Поскольку эта модель основана на Llama 2, на нее также распространяются условия лицензии Meta Llama 2, и соответствующие файлы лицензии также включены. Поэтому следует считать, что модель лицензирована в соответствии с условиями обеих лицензий. Я обратился в Hugging Face за разъяснениями по поводу двойного лицензирования, но у них пока нет официальной позиции. Если ситуация изменится или если Meta предоставит какие-либо…

Модальности:
Генерация текста


Задача: Генерация текста
Автор: TheBloke
Теги: llama, llama-2, qCammel-70, en, text-generation-inference, 4-bit, gptq
Лайков: 2  |  Загрузок: 53

Открыть на HuggingFace →

Описание основано на материалах HuggingFace. Перевод выполнен автоматически.