Модель предварительно обучена с помощью UER-py, который представлен в этой статье. Кроме того, модель также может быть предварительно обучена с помощью TencentPretrain, представленного в этой статье, который наследует UER-py для поддержки моделей с параметрами выше одного миллиарда и расширяет его до мультимодальной среды предварительного обучения. Модель используется для генерации древнекитайского языка. Вы можете скачать модель со страницы UER-py Modelzoo, страницы GPT2-Chinese на Github или через HuggingFace по ссылке gpt2-chinese-ancient. Вы можете использовать модель напрямую с конвейером для генерации текста: обучающие данные содержат 3 000 000 древних китайских слов, собранных daizhigev20. Поскольку часть древнего корпуса не имеет знаков препинания, мы использовали древнекитайскую систему пунктуации, разработанную лабораторией ICIP БНУ. Модель предварительно обучена UER-py в Tencent Cloud. Мы предварительно обучаем 500 000 шагов с длиной последовательности 320. Мы используем расширенный словарь для обработки слов, которых нет в словаре. В словарь добавляется китайский иероглиф, число которого в древнекитайском корпусе больше или равно 100. Наконец, мы конвертируем предварительно обученную модель в формат Huggingface:
Модальности:
Генерация текста
Задача: Генерация текста
Автор: uer
Теги: tf, jax, gpt2, zh, text-generation-inference, endpoints_compatible
Лайков: 18 | Загрузок: 2,923
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
