В этом репозитории представлена японская модель GPT-2 среднего размера. Модель была обучена с использованием кода из репозитория Github rinnakk/japanese-pretrained-models компанией rinna Co., Ltd. ~~~~ из преобразователей import AutoTokenizer, AutoModelForCausalLM tokenizer = AutoTokenizer.frompretrained(«rinna/japanese-gpt2-medium», usefast=False) tokenizer.dolowercase = True # из-за некоторой ошибки в модели загрузки конфигурации токенизатора = AutoModelForCausalLM.from_pretrained(«rinna/japanese-gpt2-medium») ~~~~ 24-слойная языковая модель на основе преобразователя с 1024 скрытыми размерами. Модель обучалась на японском CC-100 и японской Википедии для оптимизации задачи моделирования традиционного языка на графических процессорах 8\*V100 в течение примерно 30 дней. Он достигает около 18 недоумений на выбранном наборе проверок из тех же данных. В модели используется токенизатор на основе частей предложения. Словарь обучался в японской Википедии с использованием официального сценария обучения частей предложения.
Модальности:
Генерация текста
Задача: Генерация текста
Автор: rinna
Теги: tf, jax, gpt2, lm, nlp, ja, text-generation-inference, endpoints_compatible
Лайков: 85 | Загрузок: 2,832
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
