SEA-LION — это коллекция больших языковых моделей (LLM), которые были предварительно обучены и настроены для региона Юго-Восточной Азии (ЮВА). Qwen-SEA-LION-v4-32B-IT основан на Qwen3, который обеспечивает прочную основу с поддержкой более 100 языков и расширенными возможностями рассуждения. Модель прошла предварительное обучение примерно на 100 миллиардах токенов, выбранных из корпуса предварительного обучения SEA-Pile v2, содержащего более одного триллиона токенов на 7 языках SEA: бирманском, индонезийском, малайском, филиппинском, тамильском, тайском и вьетнамском. Наконец, он был подвергнут дополнительному обучению на высококачественном наборе данных, содержащем около 8 миллионов пар вопросов и ответов, чтобы создать окончательную модель, настроенную на инструкции. Qwen-SEA-LION-v4-32B-IT унаследовал следующие функции от Qwen3-32B: SEA-LION означает «Языки Юго-Восточной Азии в одной сети». Мы продолжили предварительное обучение английскому и языкам SEA на Qwen3-32B, модели декодера, использующей архитектуру Qwen3, а также пост-обучение для создания Qwen-SEA-LION-v4-32B-IT. Для токенизации модель использует токенизатор по умолчанию, используемый в Qwen3-32B. – Разработано: AI Products Pillar, AI Singapore. – Финансируется: Singapore NRF. – Совместно предоставлено: AI Products Pillar, AI Singapore. –…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: aisingapore
Теги: qwen3, conversational, en, zh, vi, id, th, fil
Лайков: 7 | Загрузок: 825
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
