Генеративная модель на основе sberbank-ai/rugpt3largebasedon_gpt2 для восстановления полной реплики текста в диалоге из контекста. Модель позволяет получить полный текст последней реплики, с раскрытыми анафорами, эллипсисами и т.д.: Раскрытая реплика Позволяет использовать многие классические инструменты НЛП для своей обработки, включая регулярные выражения, классификаторы интентов и т.д. Подробнее о том, какие ситуации и как обрабатываются модели, читайте в конце страницы и в этом документе. Данная модель работает в прототипе ближайшей системы. Она не требует каких-либо «обвязок», пре- или постобработки, кроме стандартных для моделей с поддержкой GPT, поэтому использовать ее очень просто: на входе модели подается результат токенизации для текста, составленного из 2 или 3 последних реплик диалога. первым токеном должно быть . каждая реплика должна открыться префиксом «-«. Реплики разделяют символические строки текста. К последнему реплике, которое будет раскрываться, добавляется подстрока «#». Модель разрабатывается с прицелом на использование в чатботе. Она поддерживает некоторые типичные ситуации в болтовне, которые перечислены далее. В примерах после символа ⇒ идет…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: inkoziev
Теги: gpt2, PyTorch, Transformers, ru, text-generation-inference, endpoints_compatible
Лайков: 7 | Загрузок: 8
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
