В этом репозитории представлена (ООН)-целевая модель перефразирования, разработанная в рамках исследования, представленного в статье: «Нахождение иголки в состязательном стоге сена: подход целевого перефразирования для выявления крайних случаев с минимальными искажениями распределения». Модель предназначена для создания высококачественных пересказов с повышенной беглостью, разнообразием и релевантностью и адаптирована для приложений по генерированию состязательных данных. В процессе обучения использовался тщательно подобранный набор данных, включающий 560 550 пар парафраз из семи высококачественных источников: — Набор данных APT (Nighojkar и Licato, 2021 г.) — Microsoft Research Paraphrase Corpus (MSRP) (Долан и Брокетт, 2005 г.) — PARANMT-50M (Wieting and Gimpel, 2018 г.) — TwitterPPDB (Lan et al., 2017) — PIT-2015 (Xu et al., 2015) — PARADE (He et al., 2020) — Пары вопросов Quora (QQP) (Iyer et al., 2017) Для обеспечения высокого качества и разнообразия данных были применены этапы фильтрации: 1. Удаление пар с перекрытием униграмм более 50% для улучшения лексического разнообразия. 2. Исключение пар с менее чем 50% переупорядочением общих слов для обеспечения синтаксического разнообразия. 3. Отфильтровать пары с семантическим сходством менее 50 %, используя косинус…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: alykassem
Теги: t5, text2text-generation, en
Лайков: 9 | Загрузок: 913
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
