Dynamo 8B — это усовершенствование архитектуры Mistral 7B с целью многоязычного языкового моделирования. Dynamo 8B превосходит Mistral 7B, Llama2 13B, Bloom 7B и PolyLM 13B в большинстве протестированных нами многоязычных тестов (например, PAWS и XCOPA). Для получения дополнительной информации, пожалуйста, обратитесь к нашему сообщению в блоге. Он включает в себя расширенный токенизатор, предварительно обученный для лучшего использования токенов на разных языках. Токенизатор был расширен путем обучения токенизатора предложений BPE на выбранных языках (200 миллионов токенов использовалось для каждого языка), а затем объединил слияния/словарь, которых еще не было в токенизаторе Mistral. После объединения токенизаторов модель была предварительно обучена с использованием дополнительных 210 миллиардов токенов из многоязычных данных, таких как тексты на немецком, испанском, корейском, итальянском и турецком языках. В набор данных для предварительной подготовки также были включены английские токены, чтобы смягчить катастрофическое забывание. Dynamo 8B не подвергался точной настройке инструкций и не подвергался настройке с использованием таких методов, как обучение с подкреплением на основе отзывов людей. Целью создания этой модели является предоставление исследовательскому сообществу модели для изучения жизненно важных многоязычных возможностей, которые позволят широко использовать LLM…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: dynamofl
Теги: mistral, en, de, es, ko, tr, it, text-generation-inference
Лайков: 20 | Загрузок: 73
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
