Модель предварительно обучена с помощью UER-py, который представлен в этой статье. Кроме того, модель также может быть предварительно обучена с помощью TencentPretrain, представленного в этой статье, который наследует UER-py для поддержки моделей с параметрами выше одного миллиарда и расширяет его до мультимодальной среды предварительного обучения. Модель используется для генерации китайских куплетов. Вы можете скачать модель со страницы UER-py Modelzoo или со страницы GPT2-Chinese Github или через HuggingFace по ссылке gpt2-chinese-couplet. Поскольку в файле Pipes.py используется параметр SkipSpecialTokens, специальные токены, такие как [SEP], [UNK], будут удалены, выходные результаты API размещенного вывода (справа) могут отображаться неправильно. Вы можете использовать модель напрямую с конвейером для генерации текста: обучающие данные содержат 700 000 китайских куплетов, которые собираются с помощью Couplet-Clean-DataSet. Модель предварительно обучена UER-py в Tencent Cloud. Мы предварительно обучаем 25 000 шагов с длиной последовательности 64. Наконец, мы конвертируем предварительно обученную модель в формат Huggingface:
Модальности:
Генерация текста
Задача: Генерация текста
Автор: uer
Теги: tf, jax, gpt2, zh, text-generation-inference, endpoints_compatible
Лайков: 10 | Загрузок: 1,660
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
