由于训练使用的数据使用了SIGHAN2015的训练集（复现бумага）,在SIGHAN2015的测试集上达到SOTA。如果需要训练macbert4csc，请参考https://github.com/shibing624/pycorrector/tree/master/pycorrector/macbert MacBERT — это улучшенный BERT с новой MLM в качестве корректирующей задачи предварительного обучения, которая смягчает несоответствие предварительного обучения и точной настройки. За исключением нового предтренировочного задания, мы также используем следующие методы. — Маскирование всего слова (WWM) — Маскирование N-грамм — Прогнозирование порядка предложений (SOP) Обратите внимание, что наш MacBERT можно напрямую заменить исходным BERT, поскольку в основной нейронной архитектуре нет различий. Для получения более подробной технической информации ознакомьтесь с нашей статьей: Пересмотр предварительно обученных моделей для обработки китайского естественного языка.
Модальности:
Генерация текста
Задача: Генерация текста
Автор: shibing624
Теги: onnx, bert, fill-mask, zh, pycorrector, endpoints_compatible
Лайков: 115 | Загрузок: 5,679
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
