rinna/youri-7b-gptq - Каталог нейросетей
Генерация текста

rinna/youri-7b-gptq

Добавлено:

rinna/youri-7b-gptq is the quantized model for rinna/youri-7b using AutoGPTQ. The quantized version is 4x smaller than the original model and thus requires less memory and provides faster inference. ~~~~python import torch from transformers import AutoTokenizer from auto_gptq import AutoGPTQForCausalLM tokenizer = AutoTokenizer.frompretrained(«rinna/youri-7b-gptq») model = AutoGPTQForCausalLM.fromquantized(«rinna/youri-7b-gptq», use_safetensors=True) text = «西田幾多郎は、» tokenids = tokenizer.encode(text, addspecialtokens=False, returntensors=»pt») with torch.nograd(): outputids = model.generate( inputids=tokenids.to(model.device), maxnewtokens=200, minnewtokens=200, dosample

Модальности:
Генерация текста


Задача: Генерация текста
Автор: rinna
Теги: llama, gptq, ja, en
Лайков: 2  |  Загрузок: 129

Открыть на HuggingFace →

Описание основано на материалах HuggingFace. Перевод выполнен автоматически.