rinna/youri-7b-instruction-gptq

rinna/youri-7b-instruction-gptq — это квантованная модель инструкции rinna/youri-7b с использованием AutoGPTQ. Квантованная версия в 4 раза меньше исходной модели и, следовательно, требует меньше памяти и обеспечивает более быстрый вывод. ~~~~python import torch из трансформаторов import AutoTokenizer из auto_gptq import AutoGPTQForCausalLM tokenizer = AutoTokenizer.frompretrained(«rinna/youri-7b-instruction-gptq») model = AutoGPTQForCausalLM.fromquantized(«rinna/youri-7b-instruction-gptq», use_safetensors=True) инструкция = «次の日本語を英語に翻訳してください。» input = «大規模言語モデル（だいきぼげんごモデル、英: большой язык модель、LLM）は、多数のパラメータ（数千万から数十億）を持つ人工ニューラルネットワークで構成されるコンピュータ言語モデルで、膨大なラベルなしテキストを使用して自己教師あり学習または半教師あり学習によって訓練が行われる。» подсказка = е»»»以下は、タスクを説明する指示と、文脈のある入力の組み合わせです。要求を適切に満たす応答を書きなさい。 «»» tokenids = tokenizer.encode(prompt, addspecialtokens=False, returntensors=»pt») с torch.nograd(): outputids = model.generate( inputids=tokenids.to(model.device), maxnewtokens=200, dosample=True, температура=0,5,padtokenid=tokenizer.padtokenid, bostokenid=tokenizer.bostokenid, eostokenid=tokenizer.eostoken_id ) выход = tokenizer.decode(output_ids.tolist()[0]) print(output) ~~~~

Модальности:
Генерация текста

Области применения:
Следование инструкциям

Задача: Генерация текста
Автор: rinna
Теги: llama, gptq, ja, en
Лайков: 7  |  Загрузок: 25

Открыть на HuggingFace →

Описание основано на материалах HuggingFace. Перевод выполнен автоматически.