Этот репозиторий предоставляет модель японского языка с 3,6 млрд параметров, обученную корпорацией LINE. Наш учебный корпус состоит из японских частей общедоступных корпусов, таких как C4, CC-100 и Oscar. Мы также включили веб-тексты, просканированные собственной системой. Общий размер нашего учебного корпуса составляет около 650 ГБ. Обученная модель достигает степени недоумения 7,50 на внутренних наборах проверки японского C4. Мы используем токенизатор частей предложения с языковой моделью униграмм и резервным байтом. Мы не применяем предварительную токенизацию с помощью японского токенизатора. Таким образом, пользователь может напрямую вводить необработанные предложения в токенизатор.
Модальности:
Генерация текста
Задача: Генерация текста
Автор: line-corporation
Теги: gpt_neox, ja, text-generation-inference, endpoints_compatible
Лайков: 75 | Загрузок: 1,247
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
