Этот репозиторий предоставляет японскую модель GPT с параметрами 1,3B. Модель была обучена компанией rinna Co., Ltd. ~~~~ import torch из трансформаторов import AutoTokenizer, AutoModelForCausalLM tokenizer = AutoTokenizer.frompretrained(«rinna/japanese-gpt-1b», usefast=False) model = AutoModelForCausalLM.from_pretrained(«rinna/japanese-gpt-1b») text = «西田幾多郎は、» tokenids = tokenizer.encode(text, addspecialtokens=False, returntensors=»pt») с torch.nograd(): выходные идентификаторы = model.generate( tokenids.to(model.device), maxlength=100, minlength=100, dosample=True, topk=500, topp=0.95, padtokenid=tokenizer.padtokenid, bostokenid=tokenizer.bostokenid, eostokenid=tokenizer.eostokenid, badwordsids=[[tokenizer.unktokenid] ) output = tokenizer.decode(output_ids.tolist()[0]) print(output) 24-слойная языковая модель на основе трансформатора со скрытым размером 2048 пикселей. Модель была обучена на японском C4, японском CC-100 и японской Википедии для оптимизации цели моделирования традиционного языка. Он достигает около 14 недоумений на выбранном наборе проверки из тех же данных. В модели используется токенизатор на основе частей предложения. Словарь сначала обучался на выбранном подмножестве обучающих данных с использованием официального…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: rinna
Теги: gpt2, gpt, lm, nlp, ja, text-generation-inference, endpoints_compatible
Лайков: 107 | Загрузок: 1,399
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
