Предварительное обучение в Wudao Corpus, ориентированное на решение задач NLG, крупнейшего на данный момент китайского GPT2. 为了可以获得一个强大的单向语言模型,我们采用GPT模型结构,并且应用于中文语料上。类似于Вэньчжун-GPT2-3,5B,这个模型拥有30层解码器和35-дюймовый блок управления, блок GPT2-XL, блок управления GPT2-XL, блок управления двигателем, блок управления двигателем, блок управления двигателем（ 300G может быть установлен в корпусе GPT или GPT. Чтобы получить мощную однонаправленную языковую модель, мы принимаем структуру модели GPT и применяем ее к китайскому корпусу. Подобно Wenzhong-GPT2-3.5B, эта модель имеет 30 слоев декодера и 3,5 миллиарда параметров, что больше, чем у оригинальной GPT2-XL. Разница в том, что мы предварительно обучили эту модель на корпусе Wudao (версия 300G). Насколько нам известно, это самая крупная китайская модель GPT, доступная в настоящее время. Если вы используете ресурс для своей работы, пожалуйста, цитируйте нашу статью:
Модальности:
Генерация текста
Задача: Генерация текста
Автор: IDEA-CCNL
Теги: gpt2, zh, text-generation-inference, endpoints_compatible
Лайков: 90 | Загрузок: 37
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
