FuxiTranyu-8B — это многоязычная модель большого языка с открытым исходным кодом, обученная с нуля, с особым упором на многоязычность. Он обучен на 600B токенах со сбалансированным распределением данных по языкам, демонстрируя замечательную многоязычную производительность по сравнению с предыдущими многоязычными LLM, такими как BLOOM-7B, PolyLM-13B. FuxiTranyu поддерживает 43 естественных языка (арабский, бенгальский, болгарский, бирманский, каталанский, китайский, чешский, голландский, английский, филиппинский, финский, французский, немецкий, греческий, иврит, хинди, венгерский, индонезийский, итальянский, японский, казахский, кхмерский, корейский, курдский, киргизский, лаосский, малайский, персидский, польский, португальский, румынский, русский, испанский, шведский, тамильский, таджикский, тайский, турецкий, туркменский, украинский, урду, узбекский и вьетнамский) и охватывают 16 языков программирования (Java, JavaScript, Python, PHP, C, C++, C#, TypeScript, Go, SQL, Rust, Ruby, Scala, Lua, Assembly и Visual Basic). Более подробную информацию о сборе и обработке данных, предварительном обучении и тонкой настройке FuxiTranyu можно найти в техническом отчете. В дополнение к базовой модели и ее контрольным точкам мы также выпускаем два варианта с настройкой инструкций: версию SFT здесь и версию DPO здесь. Чтобы загрузить промежуточный файл…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: TJUNLP
Теги: fuxitranyu, custom_code
Лайков: 8 | Загрузок: 871
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
