在悟道数据集上进行通用预训练的Deep VAE模型后又在命名实体识别任务的数据上微调的CVAE模型。其中编码器和解码器都是GPT-2架构。可以在给定命名实体和其类别后生成包含该命名实体的句子。 Глубокая модель VAE, предварительно обученная на наборе данных Wudao и уточненная на наборе данных NER. И кодер, и декодер основаны на архитектуре GPT-2. Эта модель способна генерировать предложение, заданное именованным объектом и его типом объекта. 参考论文 Справочный документ:Fuse It More Deeply! Вариационный трансформатор с многоуровневым латентным переменным выводом для генерации текста 本模型使用了Della论文里的循环潜在向量架构, низкоранговый但对于解码器生成并未采用原论文的тензор-продукт来进行信息融合,而是使用了简单的线性变换后逐位逐词添加的方式。该方式对于开放域数据集的预训练稳定性有较大正向作用。 Обратите внимание, что, хотя мы приняли многоуровневую структуру рекуррентных латентных переменных в качестве бумаги, мы не использовали низкоранговый тензор-продукт для слияния латентных векторов со скрытыми состояниями декодера. Вместо этого мы применили простое линейное преобразование к латентным векторам, а затем независимо добавили их к скрытым состояниям. Если вы используете ресурс для своей работы, пожалуйста, процитируйте нашу статью:
Модальности:
Генерация текста
Области применения:
Распознавание сущностей
Задача: Генерация текста
Автор: IDEA-CCNL
Теги: gpt2, VAE, CVAE, NER, Data Augmentation, zh, text-generation-inference
Лайков: 3 | Загрузок: 17
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.