Чат и поддержка: сервер Discord TheBloke Хотите внести свой вклад? Страница TheBloke на Patreon Работа LLM компании TheBloke щедро поддерживается грантом от andreessen horowitz (a16z) — Создатель модели: OpenAssistant — Исходная модель: Llama2 13B Orca 8K 3319. Этот репозиторий содержит файлы моделей GPTQ для OpenAssistant Llama2 13B Orca 8K 3319. Предоставляется несколько перестановок параметров GPTQ; Подробную информацию о предоставляемых опциях, их параметрах и программном обеспечении, использованном для их создания, см. ниже в разделе «Предоставленные файлы». Модель(и) AWQ для вывода с помощью графического процессора. Модели GPTQ для вывода графического процессора с несколькими вариантами параметров квантования. 2, 3, 4, 5, 6 и 8-битные модели GGUF для вывода CPU+GPU. Исходная неквантованная модель fp16 OpenAssistant в формате pytorch для вывода GPU и дальнейших преобразований. Создатель исходной модели указал свою лицензию как другую, и поэтому для этого квантования использовалась та же лицензия. Поскольку эта модель основана на Llama 2, на нее также распространяются условия лицензии Meta Llama 2, файлы лицензии для которой включены дополнительно. Следовательно, его следует рассматривать как заявленный как лицензированный по обеим лицензиям. Я связался с Hugging Face за разъяснениями по поводу двойного…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: TheBloke
Теги: llama, sft, en, text-generation-inference, 4-bit, gptq
Лайков: 38 | Загрузок: 15
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
