rinna/youri-7b-gptq is the quantized model for rinna/youri-7b using AutoGPTQ. The quantized version is 4x smaller than the original model and thus requires less memory and provides faster inference. ~~~~python import torch from transformers import AutoTokenizer from auto_gptq import AutoGPTQForCausalLM tokenizer = AutoTokenizer.frompretrained(«rinna/youri-7b-gptq») model = AutoGPTQForCausalLM.fromquantized(«rinna/youri-7b-gptq», use_safetensors=True) text = «西田幾多郎は、» tokenids = tokenizer.encode(text, addspecialtokens=False, returntensors=»pt») with torch.nograd(): outputids = model.generate( inputids=tokenids.to(model.device), maxnewtokens=200, minnewtokens=200, dosample
Модальности:
Генерация текста
Задача: Генерация текста
Автор: rinna
Теги: llama, gptq, ja, en
Лайков: 2 | Загрузок: 129
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.