В этом репозитории представлены модели японского языка, обученные SB Intuitions. В качестве набора обучающих данных мы использовали японскую часть корпуса Common Crawl, который является крупнейшим веб-корпусом. Для очистки учебного корпуса мы использовали CCNet и HojiChar. После очистки наш корпус содержит около 550 миллиардов токенов. Мы используем токенизатор частей предложения с языковой моделью униграмм и резервным байтом. Мы не применяем предварительную токенизацию с помощью японского токенизатора. Таким образом, пользователь может напрямую вводить необработанные предложения в токенизатор. Сарашина1 еще не настроена следовать инструкциям. Следовательно, sarashina1 может генерировать бессмысленные последовательности, неточные примеры или предвзятые/нежелательные результаты. Прежде чем использовать sarashina1, мы хотели бы, чтобы разработчики настроили модели с учетом предпочтений человека и соображений безопасности.
Модальности:
Генерация текста
Задача: Генерация текста
Автор: sbintuitions
Теги: gpt_neox, ja, text-generation-inference, endpoints_compatible
Лайков: 6 | Загрузок: 10
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
