В этом репозитории представлены большие языковые модели, обученные SB Intuitions. Для наших данных обучения японскому языку мы использовали японскую часть корпуса Common Crawl, который является крупнейшим веб-корпусом, в качестве набора обучающих данных. Для очистки учебного корпуса мы использовали CCNet и HojiChar. После очистки наши данные обучения японскому языку содержат около 1Т токенов. Для наших данных по обучению английскому языку мы извлекли документы на английском языке из SlimPajama, но удалили корпус books3 из-за нарушения авторских прав. Мы используем токенизатор частей предложения с языковой моделью униграмм и резервным байтом. Мы не применяем предварительную токенизацию с помощью японского токенизатора. Таким образом, пользователь может напрямую вводить необработанные предложения в токенизатор. Сарашина2 еще не настроена следовать инструкциям. Следовательно, sarashina2 может генерировать бессмысленные последовательности, неточные примеры или предвзятые/нежелательные результаты. Прежде чем использовать sarashina2, мы хотели бы, чтобы разработчики настроили модели с учетом предпочтений человека и соображений безопасности.
Модальности:
Генерация текста
Задача: Генерация текста
Автор: sbintuitions
Теги: llama, ja, en, text-generation-inference, endpoints_compatible
Лайков: 18 | Загрузок: 54
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
