How to use： from transformers import AutoTokenizer, AutoModelForCausalLM import torch tokenizer = AutoTokenizer.frompretrained(modelid) model = AutoModelForCausalLM.frompretrained( modelid, torchdtype=torch.bfloat16, devicemap=»auto», ) messages = [ {«role»: «system», «content»: «You are a LLM assistant. Users will ask you questions in Chinese, You will answer questions in Chinese»}, {«role»: «user», «content»: «李白是哪个朝代的人?»}, ] inputids = tokenizer.applychattemplate( messages, addgenerationprompt=True, returntensors=»pt» ).to(model.device) terminators = [ tokenizer.eostokenid, tokenizer.converttokenstoids(«») ] outputs = model.generate( inputids, maxnewtokens=256, eostokenid=terminators, dosample=True, temperature=0.6, topp=0.9, ) response = outputs[0][inputids.shape[-1]:] pr
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: BoyangZ
Теги: llama, conversational, zh, text-generation-inference, endpoints_compatible
Лайков: 3 | Загрузок: 19
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
