tsumeone/llama-30b-supercot-3bit-128g-cuda - Каталог нейросетей
Генерация текста

tsumeone/llama-30b-supercot-3bit-128g-cuda

Добавлено:
tsumeone/llama-30b-supercot-3bit-128g-cuda

3bit quantized version of this: https://huggingface.co/ausboss/llama-30b-supercot GPTQ quantization using https://github.com/0cc4m/GPTQ-for-LLaMa Made on the request of someone that wanted a 3bit version. Файл на 17% меньше, чем 4bit non-groupsize, но wikitext2 ppl на 12% хуже. У меня нет работающей установки Ooba, поэтому я не могу проверить это самостоятельно. Оценка проекта

Модальности:
Генерация текста

Задача: Генерация текста
Автор: tsumeone
Теги: llama, text-generation-inference, endpoints_compatible
Лайков: 3  |  Загрузок: 61

Открыть на HuggingFace →

Описание основано на материалах HuggingFace. Перевод выполнен автоматически.

Теги: #endpoints_compatible #llama #text-generation-inference

Похожие модели (Генерация текста)

Генерация текста

618AI/dictalm2-it-qa-fine-tune

Это доработанная версия модели инструкций Dicta-IL dictalm2.0, специально предназначенная для генерации пар вопрос-ответ на иврите. Модель Guysh1805/dictalm2-it-qa-fine-tunetuned представляет...

17
HF Подробнее
Генерация текста

QuantFactory/Mistral-7B-Instruct-v0.3-GGUF

— Это квантованная версия mistralai/Mistral-7B-Instruct-v0.3, созданная с использованием llama.cpp. Модель большого языка Mistral-7B-Instruct-v0.3 (LLM) представляет собой усовершенствованную версию...

634
HF Подробнее
Генерация текста

bujido/Llama3-70B-Chinese-Chat-AWQ-32k

Этот репозиторий предоставляет 4-разрядную квантованную версию AWQ на основе полнопараметрической точно настроенной модели Llama3-70B-Chinese-Chat от shenzhi-wang (https://huggingface.co/shenzhi-wang/Llama3-70B-Chinese-Chat). Оригинальная...

31
HF Подробнее
Генерация текста

elyza/ELYZA-japanese-Llama-2-13b-fast

ЭЛИЗА-японская-Лама-2-13b は、 Лама 2をベースとして日本語能力を拡張するために追加事前学習を行ったモデルです。詳細は Блог記事 を参照してください。 — Акира Сасаки — Масато Хиракава — Синтаро Хорие — Томоаки Накамура...

488
HF Подробнее