CPM (китайская предварительно обученная языковая модель) — это авторегрессионная языковая модель на основе Transformer с 2,6 миллиардами параметров и 100 ГБ данных обучения на китайском языке. Насколько нам известно, CPM является крупнейшей предварительно обученной китайской языковой моделью, которая может облегчить последующие задачи китайского НЛП, такие как разговор, создание эссе, тест на закрытие и понимание языка. [Проект] [Модель] [Документ] Текст, генерируемый CPM, автоматически генерируется моделью нейронной сети, обученной на большом количестве текстов, которая не отражает официальные взгляды и предпочтения авторов или их институтов. Текст, созданный CPM, используется только в технических и научных целях. Если оно ущемляет ваши права и интересы или нарушает общественную мораль, пожалуйста, не пропагандируйте его, а свяжитесь с авторами, и авторы оперативно разберутся с этим. На предварительном обучении мы собираем разные виды текстов, включая энциклопедии, новости, романы и вопросы и ответы. Подробности наших обучающих данных показаны следующим образом. На основе поиска гиперпараметров скорости обучения и размера пакета мы устанавливаем скорость обучения как \(1,5times10^{-4}\), а размер пакета как \(3,072\), что делает…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: TsinghuaAI
Теги: tf, gpt2, cpm, zh, text-generation-inference, endpoints_compatible
Лайков: 42 | Загрузок: 2,624
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
