Sailor — это набор открытых языковых моделей, адаптированных для Юго-Восточной Азии (ЮВА), с упором на такие языки, как 🇮🇩индонезийский, 🇹🇭тайский, 🇻🇳вьетнамский, 🇲🇾малайский и 🇱🇦лаосский. Модели Sailor, разработанные с тщательным контролем данных, предназначены для понимания и генерации текста в различных лингвистических ландшафтах региона ЮВА. Созданный на базе Qwen 1.5, Sailor включает в себя модели разных размеров, от версий от 0,5B до 14B для различных требований. Далее мы дорабатываем базовую модель с помощью наборов данных с открытым исходным кодом, чтобы получить модели, настроенные с помощью инструкций, под названием Sailor-Chat. Результаты сравнительного тестирования демонстрируют умение Сейлора решать такие задачи, как ответы на вопросы, рассуждения на основе здравого смысла и другие задачи на языках SEA. — Коллекции моделей: базовая модель и модель чата — Веб-сайт проекта: sea-sailor.github.io/blog/sailor1/ — Кодовая база: github.com/sail-sg/sailor-llm — Технический отчет: arxiv.org/pdf/2404.03608.pdf Sailor создается путем постоянного предварительного обучения на языковых моделях, таких как замечательные модели Qwen 1.5, которые уже отлично работают в SEA. языки. Корпус предварительного обучения активно использует общедоступные корпуса, включая SlimPajama, SkyPile, CC100 и MADLAD-400. Инструкция…
Модальности:
Генерация текста
Области применения:
Следование инструкциям Диалог / чат Мультиязычность
Задача: Генерация текста
Автор: sail
Теги: qwen2, multilingual, sea, sailor, sft, chat, instruction, conversational
Лайков: 8 | Загрузок: 17
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
