Чат Модели GPTQ для вывода GPU с несколькими вариантами параметров квантования. 2, 3, 4, 5, 6 и 8-битные модели GGUF для вывода CPU GPU Оригинальная не квантованная модель Sao10K fp16 в формате pytorch, для вывода GPU и для дальнейших преобразований Создатель исходной модели указал свою лицензию как cc-by-nc-4.0, и поэтому это квантование использовало ту же лицензию. Поскольку эта модель основана на Llama 2, на нее также распространяются условия лицензии Meta Llama 2, и файлы лицензий для них дополнительно включены. Поэтому его следует считать лицензированным по обеим лицензиям. Я связался с Hugging Face для получения разъяснений по двойному лицензированию, но у них еще нет официальной позиции. Если это изменится, или если мета…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: TheBloke
Теги: llama, en, text-generation-inference, 4-bit, gptq
Лайков: 3 | Загрузок: 40
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.