— Введение — Модели — ByT5 — Описание модели — Контрольные показатели — Цитирование — Контакты Большая часть предыдущих работ по изучению диакритизации арабского языка основывалась на обучении моделей с нуля. В этой статье мы исследуем, как использовать предварительно обученные языковые модели для изучения диакритизации. Мы настраиваем предварительно обученные многоязычные модели без токенов (ByT5), чтобы научиться предсказывать и вставлять недостающие диакритические знаки в арабский текст. Это сложная задача, требующая понимания семантики предложений и морфологической структуры токенов. Мы показываем, что можем достичь современного уровня решения задачи диакритизации с минимальным объемом обучения и без разработки функций, сокращая WER на 40%. Мы выпускаем наши доработанные модели для большей пользы исследователям сообщества. Модель ByT5, отличающаяся инновационной архитектурой без токенов, напрямую обрабатывает необработанный текст, что позволяет умело ориентироваться в различных языках и лингвистических нюансах. ByT5, предварительно обученный на комплексном текстовом корпусе mc4, превосходно понимает и генерирует текст, что делает его универсальным для различных задач НЛП. Мы еще больше расширили его возможности, настроив его на наборе данных Ташкилы на 13 000 шагов,…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: basharalrfooh
Теги: t5, text2text-generation, ar, text-generation-inference, endpoints_compatible
Лайков: 9 | Загрузок: 1,312
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
