Чат и поддержка: сервер Discord TheBloke Хотите внести свой вклад? Страница TheBloke на Patreon Работа TheBloke в области LLM щедро поддерживается грантом от Андреессена Горовица (a16z) — Создатель модели: Tap — Оригинальная модель: Luna AI Llama2 без цензуры. Этот репозиторий содержит файлы моделей GPTQ для Luna AI Llama2 от Tap-M без цензуры. Предусмотрено несколько перестановок параметров GPTQ; Подробную информацию о предоставляемых опциях, их параметрах и программном обеспечении, использованном для их создания, см. ниже в разделе «Предоставленные файлы». Большое спасибо Уильяму Бошампу из Чай за предоставленное оборудование для создания и загрузки этих файлов! Модель(и) AWQ для вывода с помощью графического процессора. Модели GPTQ для вывода графического процессора с несколькими вариантами параметров квантования. 2, 3, 4, 5, 6 и 8-битные модели GGUF для вывода CPU+GPU. Исходная неквантованная модель Tap fp16 в формате pytorch, для вывода GPU и дальнейших преобразований. Создатель исходной модели указал свою лицензию как cc-by-sa-4.0, и поэтому для этого квантования использовалась та же лицензия. Поскольку эта модель основана на Llama 2, на нее также распространяются условия лицензии Meta Llama 2, файлы лицензии для которой включены дополнительно. Поэтому его следует рассматривать как претензию на…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: TheBloke
Теги: llama, text-generation-inference, 4-bit, gptq
Лайков: 86 | Загрузок: 61
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
