В этом репозитории представлена небольшая японская модель GPT-2. Модель была обучена с использованием кода из репозитория Github rinnakk/japanese-pretrained-models компанией rinna Co., Ltd. ~~~~ из преобразователей import AutoTokenizer, AutoModelForCausalLM tokenizer = AutoTokenizer.frompretrained(«rinna/japanese-gpt2-small», usefast=False) tokenizer.dolowercase = True # из-за некоторой ошибки в модели загрузки конфигурации токенизатора = AutoModelForCausalLM.from_pretrained(«rinna/japanese-gpt2-small») ~~~~ 12-слойная языковая модель на основе преобразователя с 768 скрытыми размерами. Модель обучалась на японском CC-100 и японской Википедии для оптимизации задачи моделирования традиционного языка на графических процессорах 8\*V100 в течение примерно 15 дней. Он достигает около 21 степени сложности на выбранном наборе проверки из CC-100. В модели используется токенизатор на основе частей предложения. Словарь обучался в японской Википедии с использованием официального сценария обучения частей предложения.
Модальности:
Генерация текста
Задача: Генерация текста
Автор: rinna
Теги: tf, gpt2, lm, nlp, ja, text-generation-inference, endpoints_compatible
Лайков: 26 | Загрузок: 6,255
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
