Чат и поддержка: сервер Discord TheBloke Хотите внести свой вклад? Страница TheBloke на Patreon Работа TheBloke в области LLM щедро поддерживается грантом от Андреессена Горовица (a16z) — Создатель модели: Ник Перес — Исходная модель: Llama2 22B Daydreamer v2. Этот репозиторий содержит файлы модели GPTQ для Llama2 22B Daydreamer v2 Ника Переса. Предусмотрено несколько перестановок параметров GPTQ; Подробную информацию о предоставляемых опциях, их параметрах и программном обеспечении, использованном для их создания, см. ниже в разделе «Предоставленные файлы». Модель(и) AWQ для вывода с помощью графического процессора. Модели GPTQ для вывода графического процессора с несколькими вариантами параметров квантования. 2, 3, 4, 5, 6 и 8-битные модели GGUF для вывода CPU+GPU. Исходная неквантованная модель fp16 Ника Переса в формате pytorch, для вывода GPU и дальнейших преобразований. Пример того, как она обрабатывает различные роли, для которых мне до сих пор нравится использовать явные инструкции: создатель исходной модели указал свою лицензию как другую, и поэтому для этого квантования использовалась та же самая лицензия. Поскольку эта модель основана на Llama 2, на нее также распространяются условия лицензии Meta Llama 2, файлы лицензии для которой включены дополнительно. Поэтому его следует считать заявленным…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: TheBloke
Теги: llama, text-generation-inference, 4-bit, gptq
Лайков: 8 | Загрузок: 8
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
