rinna/youri-7b-chat-gptq — это квантованная модель rinna/youri-7b-chat с использованием AutoGPTQ. Квантованная версия в 4 раза меньше исходной модели и, следовательно, требует меньше памяти и обеспечивает более быстрый вывод. ~~~~python импортирует факел из трансформаторов импортирует AutoTokenizer из auto_gptq import AutoGPTQForCausalLM tokenizer = AutoTokenizer.frompretrained(«rinna/youri-7b-chat-gptq») model = AutoGPTQForCausalLM.fromquantized(«rinna/youri-7b-chat-gptq», use_safetensors=True) инструкция = «次の日本語を英語に翻訳してください。» input = «自然言語による指示に基づきタスクが解けるよう学習させることを Настройка инструкций と呼びます。» context = [ { «speaker»: «設定», «text»: инструкция }, { «speaker»: «ユーザー», «text»: input } ] Prompt = [ f»{uttr[‘speaker’]}: {uttr[‘text’]}» для uttr в контексте ] Prompt = «n».join(prompt) Prompt = ( Prompt + «n» + «システム: » ) tokenids = tokenizer.encode(prompt, addspecialtokens=False, returntensors=»pt») с torch.nograd(): outputids = model.generate( inputids=tokenids.to(model.device), maxnewtokens=200, dosample=True, temp=0.5,padtokenid=tokenizer.padtokenid, bostokenid=tokenizer.bostokenid, eostokenid=tokenizer.eostoken_id) вывод = tokenizer.decode(output_ids.tolist()[0]) print(output) вывод =…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: rinna
Теги: llama, gptq, ja, en
Лайков: 14 | Загрузок: 5
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
