Используйте NLG, GPT2-Small, Bert Tokenizer, Token, и используйте Token.类似于Вэньчжун2.0-GPT2-3.5B-китайский，我们实现了一个маленький版本的12层的Вэньчжун2.0-GPT2-110M-BertTokeniz э-китайский, 并在悟道 (300G版本)上面进行预训练。本次开源别于之前开源的闻Поддержка GPT2, поддержка BPE и поддержка Bert Tokenzier. Подобно Wenzhong2.0-GPT2-3.5B-chinese, мы реализуем Wenzhong2.0-GPT2-110M-BertTokenizer-chinese небольшого размера с 12 слоями, который предварительно обучен на Wudao Corpus (версия 300G). Эта версия с открытым исходным кодом отличается от предыдущей серии Wenzhong-GPT2 с открытым исходным кодом, главным образом потому, что сегментация слов BPE заменяется сегментацией слов на уровне слов Берт Токензиер. 这里需要提一点, GPT在训练的时候是没有添加специальные токены, BertTokenizer会默认补充specia ltokens，所以在tokenzier的时候需要将addspecialtokens设置为false，这样生产效果会更好。 Если вы используете ресурс для своей работы, пожалуйста, цитируйте нашу статью:
Модальности:
Генерация текста
Задача: Генерация текста
Автор: IDEA-CCNL
Теги: gpt2, generate, zh, text-generation-inference, endpoints_compatible
Лайков: 13 | Загрузок: 1,262
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
