Скопировано из Modelscope https://www.modelscope.cn/models/swift/Qwen3-235B-A22B-AWQ. Импортировать факел из modelscope. import AutoModelForCausalLM, AutoTokenizer tokenizer = AutoTokenizer.frompretrained(modelname) model = AutoModelForCausalLM.frompretrained( modelname, torchdtype=torch.float16, devicemap=»auto» ) Prompt = «Дайте мне краткое введение в большую языковую модель». messages = [ {«role»: «user», «content»: Prompt} ] text = tokenizer.applychattemplate( messages, tokenize=False, addgenerprompt=True, Enablethinking=True # Переключение между режимами мышления и недумания. По умолчанию — True. ) modelinputs = tokenizer([text], return_tensors=»pt»).to(model.device)generatedids = model.generate( modelinputs, maxnewtokens=32768 ) outputids =generatedids[0][len(modelinputs.input_ids[0]):].tolist() index = len(outputids) — outputids[::-1].index(151668) кроме ValueError: index = 0 thinkcontent = tokenizer.decode(outputids[:index],skipspecialtokens=True).strip(«n») content = tokenizer.decode(outputids[index:],skipspecial_tokens=True).strip(«n») print(«thinking content:», think_content) print(«content:», content) Qwen3 — это последнее поколение больших языковых моделей в Qwen…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: QuixiAI
Теги: qwen3_moe, conversational, endpoints_compatible, 4-bit, awq
Лайков: 14 | Загрузок: 297
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
