Модель предварительно обучена с помощью UER-py, который представлен в этой статье. Кроме того, модель также может быть предварительно обучена с помощью TencentPretrain, представленного в этой статье, который наследует UER-py для поддержки моделей с параметрами выше одного миллиарда и расширяет его до мультимодальной среды предварительного обучения. Модель используется для создания древних китайских стихов. Вы можете скачать модель со страницы UER-py Modelzoo, страницы GPT2-Chinese на Github или через HuggingFace по ссылке gpt2-chinese-poem. Поскольку в файле Pipes.py используется параметр SkipSpecialTokens, специальные токены, такие как [SEP], [UNK], будут удалены, выходные результаты API размещенного вывода (справа) могут отображаться неправильно. Вы можете использовать модель напрямую с конвейером для генерации текста: обучающие данные содержат 800 000 китайских древних стихов, которые собраны проектами китайская поэзия и поэзия. Модель предварительно обучена UER-py в Tencent Cloud. Мы предварительно обучаем 200 000 шагов с длиной последовательности 128. Мы используем расширенный словарь для обработки слов, которых нет в словаре. В словарь добавляется китайский иероглиф, число которого в корпусе стихотворений больше или равно 100. Наконец, мы конвертируем предварительно обученную модель в…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: uer
Теги: tf, jax, gpt2, zh, text-generation-inference, endpoints_compatible
Лайков: 39 | Загрузок: 3,024
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
