digitous/ChanSung_Elina_33b-4bit - Каталог нейросетей
Генерация текста

digitous/ChanSung_Elina_33b-4bit

Добавлено:
digitous/ChanSung_Elina_33b-4bit

Это 4-битный квант GPTQ Elina 33b от ChanSung. Это модель на основе LlaMa; LoRA объединена с последним преобразованием трансформаторов. Quantized with GPTQ, —wbits 4 —act-order —true-sequential —save_safetensors c4. 128 groupsize was not used so those running this on a consumer GPU with 24GB VRAM can run it at full context (2048) without any risk of OOM. Оригинал LoRA: https://huggingface.co/LLMs/Alpaca-LoRA-30B-elina

Модальности:
Генерация текста

Задача: Генерация текста
Автор: digitous
Теги: llama, text-generation-inference, endpoints_compatible
Лайков: 3  |  Загрузок: 13

Открыть на HuggingFace →

Описание основано на материалах HuggingFace. Перевод выполнен автоматически.

Теги: #endpoints_compatible #llama #text-generation-inference

Похожие модели (Генерация текста)

Генерация текста

liuhaotian/LLaVA-Lightning-MPT-7B-preview

Тип модели: LLaVA — это чат-бот с открытым исходным кодом, обученный путем точной настройки LLaMA/Vicuna/MPT на мультимодальных данных,...

30
HF Подробнее
Генерация текста

jpacifico/Chocolatine-3B-Instruct-DPO-Revised-Q4_K_M-GGUF

Квантованную q4km GGUF-версию исходной модели Chocolatine-3B-Instruct-DPO-Revised можно использовать на процессорном устройстве, совместимом с llama.cpp, теперь поддерживаемой архитектурой LM...

3.9k
HF Подробнее
Генерация текста

Mungert/Llama-3.1-Nemotron-Nano-8B-v1-GGUF

Наш новейший метод квантования представляет собой высокоточное адаптивное квантование для моделей со сверхмалой разрядностью (1–2 бита) с проверенными...

67
HF Подробнее