TheBloke/vietnamese-llama2-7B-40GB-GPTQ - Каталог нейросетей
Генерация текста

TheBloke/vietnamese-llama2-7B-40GB-GPTQ

Добавлено:
TheBloke/vietnamese-llama2-7B-40GB-GPTQ

Чат и поддержка: сервер Discord TheBloke Хотите внести свой вклад? Страница TheBloke на Patreon Работа TheBloke в области LLM щедро поддерживается грантом от Андреессена Горовица (a16z) — Создатель модели: Лаборатория моделей Фонда BKAI-HUST — Оригинальная модель: Вьетнамская Llama2 7B 40 ГБ. Этот репозиторий содержит файлы моделей GPTQ для вьетнамской модели Llama2 7B 40 ГБ от BKAI-HUST Foundation Models Lab. Предусмотрено несколько перестановок параметров GPTQ; Подробную информацию о предоставляемых опциях, их параметрах и программном обеспечении, использованном для их создания, см. ниже в разделе «Предоставленные файлы». Эти файлы были квантованы с использованием оборудования, любезно предоставленного Massed Compute. Модель(и) AWQ для вывода с помощью графического процессора. Модели GPTQ для вывода графического процессора с несколькими вариантами параметров квантования. 2, 3, 4, 5, 6 и 8-битные модели GGUF для вывода CPU+GPU Исходная неквантованная модель fp16 лаборатории моделей BKAI-HUST Foundation Models Lab в формате pytorch для вывода GPU и дальнейших преобразований. Создатель исходной модели указал свою лицензию как другую, и поэтому для этого квантования использовалась та же лицензия. Поскольку эта модель основана на Llama 2, на нее также распространяются условия лицензии Meta Llama 2, файлы лицензии для которой включены дополнительно. Должно…

Модальности:
Генерация текста


Задача: Генерация текста
Автор: TheBloke
Теги: llama, vi, en, text-generation-inference, 4-bit, gptq
Лайков: 4  |  Загрузок: 8

Открыть на HuggingFace →

Описание основано на материалах HuggingFace. Перевод выполнен автоматически.