Набор моделей GPT2, за исключением модели GPT2-xlarge, предварительно обучен с помощью UER-py, который представлен в этой статье. Модель GPT2-xlarge предварительно обучена с помощью TencentPretrain, представленного в этой статье, который наследует UER-py для поддержки моделей с параметрами выше одного миллиарда и расширяет ее до мультимодальной среды предварительного обучения. Кроме того, TencentPretrain также может предварительно обучить другие модели. Модель используется для генерации китайских текстов. Вы можете загрузить набор китайских моделей GPT2 либо со страницы UER-py Modelzoo, либо через HuggingFace по ссылкам ниже: Обратите внимание, что 6-слойная модель называется моделью GPT2-distil, поскольку она соответствует конфигурации distilgpt2, а предварительное обучение не предполагает надзор за более крупными моделями. Вы можете использовать модель напрямую с конвейером для генерации текста (возьмем случай GPT2-distil): модель GPT2-xlarge предварительно обучается TencentPretrain, а остальные предварительно обучаются UER-py в Tencent Cloud. Мы предварительно обучаем 1 000 000 шагов с длиной последовательности 128, а затем предварительно обучаем 250 000 дополнительных шагов с длиной последовательности 1024. Для моделей, предварительно обученных с помощью UER-py, возьмем случай GPT2-distill. Наконец, мы преобразуем…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: uer
Теги: tf, jax, gpt2, zh, text-generation-inference, endpoints_compatible
Лайков: 20 | Загрузок: 3,120
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
