XLNet обучалась исключительно на данных из Гонконга. В данные обучения включено значительное количество гонконгского/кантонского диалекта/юэ. Данная модель является альтернативой китайским моделям. Он может обеспечить более высокую производительность при выполнении задач, связанных с использованием языка гонконгцами. Используется Юэ Википедия, которая намного меньше китайской Википедии; этой модели будет не хватать знаний по сравнению с другими китайскими моделями. Это базовая модель, обученная на официальном репозитории. Для использования в последующих задачах потребуется дальнейшая точная настройка. Его также можно использовать для генерации текста. Данные обучения состоят в основном из новостных статей и блогов. Вероятно, существует предвзятое отношение к использованию формального языка. При генерации текста, как и в других моделях XLNet, более длинный контекст поможет генерировать более качественный текст. Общий результат не так хорош, как у GPT-2. Ниже приводится список источников данных. Общее количество символов составляет около 507M. Ниже приводится распределение разных языков внутри корпуса. Модель обучалась на одном TPUv3 из официального репозитория с параметрами по умолчанию. Исследования поддерживаются облачными TPU из Google TensorFlow Research Cloud (TFRC). Средние результаты оценки задачи за 10 запусков.…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: toastynews
Теги: tf, xlnet, yue, endpoints_compatible
Лайков: 7 | Загрузок: 7
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
