Это репозиторий, прилагаемый к нашему документу ACL 2024 «Тукан: перевод «многие-ко-многим» для 150 африканских языковых пар». Мы устраняем заметный пробел в обработке естественного языка (NLP), представляя набор ресурсов, предназначенных для улучшения машинного перевода (MT) для языков с ограниченными ресурсами, с особым упором на африканские языки. Во-первых, мы представляем две языковые модели (LM), Cheetah-1.2B и Cheetah-3.7B, с 1,2 миллиарда и 3,7 миллиарда параметров соответственно. Затем мы настраиваем вышеупомянутые модели для создания Toucan, афроцентрической модели машинного перевода, предназначенной для поддержки 156 африканских языковых пар. Чтобы оценить Toucan, мы тщательно разработали обширный тест машинного перевода, получивший название AfroLingu-MT, специально предназначенный для оценки машинного перевода. Toucan значительно превосходит другие модели, демонстрируя замечательные характеристики машинного перевода для африканских языков. Наконец, мы обучаем новую модель spBLEU_1K для улучшения показателей оценки перевода, охватывающую 1000 языков, включая 614 африканских языков. Эта работа направлена на развитие области НЛП, способствуя межкультурному взаимопониманию и обмену знаниями, особенно в регионах с ограниченными языковыми ресурсами…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: UBC-NLP
Теги: t5, UBC, African, Chaeetah, DLNLP, aar, ach, afr
Лайков: 5 | Загрузок: 14
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
