jweb/japanese-soseki-gpt2-1b

Этот репозиторий предоставляет точно настроенную японскую модель GPT2 с параметрами 1,3B. Модель была настроена jweb на основе обучения, проведенного rinna Co., Ltd. Обе модели pytorch(pytorchmodel.bin) и Rust(rustmodel.ot) предоставляются AutoModelForCausalLM.frompretrained(«jweb/japanese-soseki-gpt2-1b») text = «夏目漱石は、» tokenids = tokenizer.encode(text, addspecialtokens=False, returntensors=»pt») с torch.nograd(): outputids = model.generate( tokenids.to(model.device), maxlength=128, minlength=40, dosample=True, повторение= 1,6, Earlystopping= True, numbeams= 5, температура= 1,0, topk=500, topp=0,95,padtokenid=tokenizer.padtokenid, bostokenid=tokenizer.bostokenid, eostokenid=tokenizer.eostoken_id, ) выход = tokenizer.decode(output_ids.tolist()[0]) print(output) ржавчина ~~~~ используйте Rustbert::gpt2::GPT2Generator; используйте Rustbert::pipelines::common::{ModelType, TokenizerOption}; используйте Rustbert::pipelines::Generationutils::{GenerateConfig, LanguageGenerator}; используйте Rust_bert::resources::{ RemoteResource, ResourceProvider}; используйте tch::Device; фн…

Модальности:
Генерация текста

Языки программирования:
Rust

Задача: Генерация текста
Автор: jweb
Теги: rust, gpt2, ja, japanese, lm, nlp, rust-bert, text-generation-inference
Лайков: 4  |  Загрузок: 11

Открыть на HuggingFace →

Описание основано на материалах HuggingFace. Перевод выполнен автоматически.