Laurie/baichuan-7b-lora-alpaca-cn

из трансформаторов import AutoModelForCausalLM, AutoTokenizer, TextStreamer из peft import PeftModel tokenizer = AutoTokenizer.frompretrained(«baichuan-inc/baichuan-7B»,trustremotecode=True) model = AutoModelForCausalLM.frompretrained(«baichuan-inc/baichuan-7B», devicemap=»auto»,trustremotecode=True) model = PeftModel.frompretrained(model, «Laurie/baichuan-7b-lora-alpaca-cn») стример = TextStreamer(tokenizer,skipprompt=True,skipspecial_tokens=True) inputs = tokenizer([«:{}n:».format(query)], returntensors=»pt») inputs = inputs.to(«cuda») Generateids = model.generate(inputs, maxnew_tokens=256, стример=стример)

Модальности:
Генерация текста

Задача: Генерация текста
Автор: Laurie
Теги: text2text-generation, zh, en, endpoints_compatible
Лайков: 4  |  Загрузок: 0

Открыть на HuggingFace →

Описание основано на материалах HuggingFace. Перевод выполнен автоматически.