AfriqueQwen3.5-4B-50Langs является частью пакета AfriqueLLM, коллекции открытых языковых моделей, адаптированных к 50 африканским языкам посредством непрерывного предварительного обучения (CPT) на ~35,5 млрд токенов. Эта модель основана на Qwen/Qwen3.5-4B-Base и была специально адаптирована для повышения производительности на африканских языках при сохранении мощных возможностей в языках с высокими ресурсами. Этот вариант расширяет AfriqueQwen3.5-4B-ExtendedCM примерно на 1,5 млрд дополнительных токенов из оставшихся данных африканских языков, в результате чего поддерживаемый охват африканских языков достигает 50 языков. — Тип: причинная языковая модель (базовая/предварительно обученная) — Базовая модель: Qwen 3.5 4B — Параметры: 4B — Длина контекста: 32 768 токенов (родные) — Обучающие токены: ~35,5 млрд токенов тщательно подобранных многоязычных данных. AfriqueQwen3.5-4B-50Langs адаптирован для следующих 50 африканских языков: Языки с высоким уровнем ресурсов, используемые для смягчение катастрофического забывания: английский, французский, португальский, арабский — Африканские одноязычные данные (~ 22,8 млрд токенов): FineWeb2, WURA и MADLAD-400 — Код (~ 1 млрд токенов): CornStack-Python для возможностей рассуждения — Математика (~ 1 млрд токенов): FineMath-4+ для математического понимания — Синтетические данные (~ 324 млн…
Модальности:
Генерация текста
Области применения:
Диалог / чат Мультиязычность
Задача: Генерация текста
Автор: McGill-NLP
Теги: qwen3_5, image-text-to-text, african-languages, multilingual, continued-pretraining, afrique-llm, llamafactory, conversational
Лайков: 6 | Загрузок: 602
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
