LOLA — это многоязычная модель большого языка, обученная на более чем 160 языках с использованием разреженной архитектуры преобразователя смешанных экспертов. Наши варианты архитектуры и реализации решают задачу использования языкового разнообразия, сохраняя при этом эффективность и избегая распространенных ошибок многоязычия. Наш анализ результатов оценки показывает конкурентоспособные результаты в задачах по созданию и пониманию естественного языка. Кроме того, мы демонстрируем, как изученный механизм маршрутизации экспертов использует неявные филогенетические лингвистические шаблоны, чтобы потенциально облегчить проклятие многоязычия. Мы даем углубленный взгляд на процесс обучения, анализ наборов данных и сбалансированное исследование сильных и слабых сторон модели. Будучи моделью с открытым исходным кодом, LOLA способствует воспроизводимости результатов и служит прочной основой для будущих исследований. Наши результаты позволяют разрабатывать вычислительно эффективные многоязычные модели с высокой и масштабируемой производительностью на разных языках. Статья: https://aclanthology.org/2025.coling-main.428 Препринт: https://arxiv.org/abs/2409.11272 – Разработано: Исследовательской группой DICE (https://dice-research.org/) @ Paderborn…
Модальности:
Генерация текста
Области применения:
Мультиязычность
Задача: Генерация текста
Автор: dice-research
Теги: lola_v1, multilingual, moe, custom_code
Лайков: 11 | Загрузок: 171
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
