Чат и поддержка: сервер Discord TheBloke Хотите внести свой вклад? Страница TheBloke на Patreon Работа LLM компании TheBloke щедро поддерживается грантом Андреессена Горовица (a16z). Создатель модели: Gorilla LLM (UC Berkeley). Исходная модель: Gorilla OpenFunctions V1. Этот репозиторий содержит файлы моделей GPTQ для Gorilla LLM (Gorilla OpenFunctions V1 от UC Berkeley). Предоставляется несколько перестановок параметров GPTQ; подробности см. в предоставленных файлах ниже. предоставленные параметры, их параметры и программное обеспечение, использованное для их создания. Эти файлы были квантованы с использованием аппаратного обеспечения, любезно предоставленного моделью(ами) AWQ для моделей вывода графического процессора с несколькими вариантами параметров квантования для 2, 3, 4, 5, 6 и 8-битных моделей GGUF для вывода CPU+GPU Gorilla LLM (исходная неквантованная модель fp16 Калифорнийского университета в Беркли). Формат для вывода графического процессора и дальнейших преобразований. Создатель исходной модели указал свою лицензию как apache-2.0, и поэтому при этом квантовании использовалась та же лицензия. Поскольку эта модель основана на Llama 2, на нее также распространяются условия лицензии Meta Llama 2, поэтому файлы лицензии для нее должны быть включены дополнительно.
Модальности:
Генерация текста
Задача: Генерация текста
Автор: TheBloke
Теги: llama, text-generation-inference, 4-bit, gptq
Лайков: 5 | Загрузок: 7
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
