KnutJaegersberg/Galactica-120B-GPTQ-2-bit-64g - Каталог нейросетей
Генерация текста

KnutJaegersberg/Galactica-120B-GPTQ-2-bit-64g

Добавлено:
KnutJaegersberg/Galactica-120B-GPTQ-2-bit-64g

Рабочий код вывода (регулярный вывод с autogptq не работает без returntokentype_ids=False, не получил его для работы с textgen-webui): from auto_gptq import AutoGPTQForCausalLM, BaseQuantizeConfig from transformers import AutoTokenizer, TextGenerationPipeline tokenizer = AutoTokenizer.frompretrained (quantizedmodeldir, usefast =True) model = AutoGPTQForCausalLM.fromquantized (quantizedmodeldir, device=»cuda:0″, usetriton =False) inputids = tokenizer(«Question: What i

Модальности:
Генерация текста

Задача: Генерация текста
Автор: KnutJaegersberg
Теги: opt, endpoints_compatible
Лайков: 3  |  Загрузок: 17

Открыть на HuggingFace →

Описание основано на материалах HuggingFace. Перевод выполнен автоматически.

Теги: #endpoints_compatible #opt

Похожие модели (Генерация текста)

Генерация текста

jet-ai/Jet-Nemotron-2B

Jet-Nemotron — это новое семейство языковых моделей с гибридной архитектурой, которые превосходят современные языковые модели полного внимания с...

1.7k
HF Подробнее
Генерация текста

PygmalionAI/metharme-1.3b

Метарм 1.3B Пифия, настроенная на обучение, склонная к написанию художественной литературы и разговорам. Metharme 1.3B — это модель...

1.3k
HF Подробнее
Генерация текста

Doctor-Shotgun/ML2-123B-Magnum-Diamond-GGUF

Квантование GGUF Doctor-Shotgun/ML2-123B-Magnum-Diamond с использованием llama.cpp. Эта модель соответствует формату подсказок Mistral v7 (не Tekken). Предварительное заполнение не...

330
HF Подробнее
Генерация текста

mradermacher/Qwopus-GLM-18B-Healed-i1-GGUF

взвешенные/иматричные кванты https://huggingface.co/Jackrong/Qwopus-GLM-18B-Healed. Для удобного обзора и списка загрузки посетите нашу страницу модели для этой модели. статические кванты...

649
HF Подробнее