Модель предварительно обучена с помощью UER-py, который представлен в этой статье. Кроме того, модель также может быть предварительно обучена с помощью TencentPretrain, представленного в этой статье, который наследует UER-py для поддержки моделей с параметрами выше одного миллиарда и расширяет его до мультимодальной среды предварительного обучения. Модель используется для создания текстов на китайском языке. Вы можете загрузить модель со страницы UER-py Modelzoo, страницы GPT2-Chinese на Github или через HuggingFace по ссылке gpt2-chinese-lyric. Вы можете использовать модель напрямую с конвейером для генерации текста: данные обучения содержат 150 000 текстов песен на китайском языке, которые собираются с помощью Chinese-Lyric-Corpus и MusicLyricChatbot. Модель предварительно обучена UER-py в Tencent Cloud. Мы предварительно обучаем 100 000 шагов с длиной последовательности 512 на основе предварительно обученной модели gpt2-base-chinese-cluecorpussmall. Наконец, мы конвертируем предварительно обученную модель в формат Huggingface:
Модальности:
Генерация текста
Задача: Генерация текста
Автор: uer
Теги: tf, jax, gpt2, zh, text-generation-inference, endpoints_compatible
Лайков: 32 | Загрузок: 2,796
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
