shisa-base-7b-v1 берет Mistral 7B и добавляет дополнительные токены 8B, в основном предварительно подготовленные для японцев. Японские токены были получены из MADLAD-400 с использованием DSIR, а также 10% английских токенов, отобранных из смеси MADLAD-400 EN и различных открытых источников данных, добавленных для предотвращения катастрофического забывания. Мы расширили токенизатор Mistral до 120 тысяч токенов, чтобы повысить эффективность в Японии. Наш токенизатор обеспечивает ~2,3 символа на токен в JA по сравнению с базовым токенизатором Mistral 7B. Эта базовая модель была создана для использования с Shisa 7B, нашей доработанной моделью JA/EN, но мы предоставляем ее сообществу, поскольку считаем, что сочетание высокой производительности и эффективного двуязычного токенизатора может быть полезным. Обучение заняло 2400 часов графического процессора A100-40 на одной машине с 16 процессорами A100-40 и DeepSpeed ZeRO-3. (Журналы WandB) Эта базовая модель смогла достичь лучших в своем классе японских показателей в стандартизированных тестах со значительно меньшим количеством дополнительной предварительной подготовки, чем ранее выпущенные модели. Мы предполагаем, что это может быть связано с использованием более тщательно подобранного набора данных для предварительного обучения, но удаление даже 2,5 млрд дополнительных токенов JA по-прежнему показало очень высокие результаты в Японии. Мы использовали слегка модифицированный…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: augmxnt
Теги: mistral, en, ja, text-generation-inference, endpoints_compatible
Лайков: 16 | Загрузок: 306
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
