Чат Эти файлы были квантованы с использованием оборудования, любезно предоставленного компанией Massed Compute. Модель(и) AWQ для вывода на GPU. Модели GPTQ для вывода на GPU с несколькими вариантами параметров квантования. 2-, 3-, 4-, 5-, 6- и 8-битные модели GGUF для вывода на CPU и GPU Оригинальная неквантованная fp16-модель Мигеля Тиссера в формате PyTorch для вывода на GPU и дальнейших преобразований Автор исходной модели указал ее лицензию как «другая», поэтому для этой квантизации была использована та же лицензия. Поскольку эта модель основана на Llama 2, на нее также распространяются условия лицензии Meta Llama 2, и соответствующие файлы лицензии также включены. Поэтому следует считать, что на него распространяется действие обеих лицензий. Я…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: TheBloke
Теги: llama, text-generation-inference, 4-bit, gptq
Лайков: 2 | Загрузок: 12
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.