Чат и поддержка: сервер Discord TheBloke Хотите внести свой вклад? TheBloke’s Patreon page TheBloke’s LLM work is generously supported by a grant from andreessen horowitz (a16z) — Model creator: Pankaj Mathur — Original model: Orca Mini v3 70B This repo contains GPTQ model files for Pankaj Mathur’s Orca Mini v3 70B. Предусмотрено несколько перестановок параметров GPTQ; Подробную информацию о предоставляемых опциях, их параметрах и программном обеспечении, использованном для их создания, см. ниже в разделе «Предоставленные файлы». Модель(и) AWQ для вывода с помощью графического процессора. Модели GPTQ для вывода графического процессора с несколькими вариантами параметров квантования. 2, 3, 4, 5, 6 and 8-bit GGUF models for CPU+GPU inference Pankaj Mathur’s original unquantised fp16 model in pytorch format, for GPU inference and for further conversions The creator of the source model has listed its license as other, and this quantization has therefore used that same license. Поскольку эта модель основана на Llama 2, на нее также распространяются условия лицензии Meta Llama 2, файлы лицензии для которой включены дополнительно. Следовательно, его следует рассматривать как заявленный как лицензированный по обеим лицензиям. Я связался с Hugging Face за разъяснениями по поводу двойного лицензирования, но они…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: TheBloke
Теги: llama, en, text-generation-inference, 4-bit, gptq
Лайков: 13 | Загрузок: 24
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
