Чат и поддержка: сервер Discord TheBloke Хотите внести свой вклад? Страница TheBloke на Patreon Работа TheBloke в области LLM щедро поддерживается грантом от Андреессена Горовица (a16z) — Создатель модели: Open-Orca — Исходная модель: LlongOrca 13B 16K. Этот репозиторий содержит файлы моделей GPTQ для LlongOrca 13B 16K от Open-Orca. Предусмотрено несколько перестановок параметров GPTQ; Подробную информацию о предоставляемых опциях, их параметрах и программном обеспечении, использованном для их создания, см. ниже в разделе «Предоставленные файлы». Модели GPTQ для вывода графического процессора с несколькими вариантами параметров квантования. 2, 3, 4, 5, 6 и 8-битные модели GGUF для вывода CPU+GPU 2, 3, 4, 5, 6 и 8-битные модели GGML для вывода CPU+GPU (устарело) Оригинальная неквантованная модель fp16 Open-Orca в формате pytorch для вывода GPU и для дальнейших преобразований Создатель исходной модели указал свою лицензию как llama2, и это Таким образом, квантование использовало ту же самую лицензию. Поскольку эта модель основана на Llama 2, на нее также распространяются условия лицензии Meta Llama 2, файлы лицензии для которой включены дополнительно. Следовательно, его следует рассматривать как заявленный как лицензированный по обеим лицензиям. Я связался с Hugging Face по поводу…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: TheBloke
Теги: llama, en, text-generation-inference, 4-bit, gptq
Лайков: 5 | Загрузок: 5
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
