EntityAnonymization идентифицирует сущности в текстах и заменяет их рандомизированными версиями. На первом проходе объекты распознаются и создается словарь с похожими, но рандомизированными вариантами. При втором запуске предоставляются исходный текст и словарь и генерируется перефразированный вариант. Двухэтапный подход позволяет кэшировать словарь и конвертировать его обратно в анонимный текст, который подвергается дальнейшей обработке. Эта модель обработки естественного языка (NLP) доступна по лицензии Apache версии 2.0. Вы можете свободно использовать, изменять и распространять это программное обеспечение в соответствии с условиями лицензии Apache 2.0. Полный текст лицензии см. в лицензии Apache 2.0. Модель оптимизирована для анализа текстов, содержащих до 2048 токенов. Если ваш текст превышает этот предел, мы рекомендуем разделить его на более мелкие фрагменты, каждый из которых содержит не более 2048 токенов. Затем каждый фрагмент может быть обработан отдельно. Болгарский, китайский, чешский, голландский, английский, эстонский, финский, французский, немецкий, греческий, индонезийский, итальянский, японский, корейский, литовский, норвежский, польский, португальский, румынский, русский, словацкий, испанский, шведский, турецкий…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: metricspace
Теги: llama, text2text-generation, text-generation-inference
Лайков: 4 | Загрузок: 7
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
