Этот репозиторий предоставляет модель японского языка с 1,7 млрд параметров, обученную корпорацией LINE. Наш учебный корпус состоит из японских частей общедоступных корпусов, таких как C4, CC-100 и Oscar. Мы также включили веб-тексты, просканированные собственной системой. Общий размер нашего учебного корпуса составляет около 650 ГБ. Обученная модель достигает недоумения 8,57 на внутренних наборах проверки японского C4. Мы используем токенизатор частей предложения с языковой моделью униграмм и резервным байтом. Мы не применяем предварительную токенизацию с помощью японского токенизатора. Таким образом, пользователь может напрямую вводить необработанные предложения в токенизатор.
Модальности:
Генерация текста
Задача: Генерация текста
Автор: line-corporation
Теги: gpt2, ja, text-generation-inference, endpoints_compatible
Лайков: 27 | Загрузок: 675
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
