Модель была предварительно обучена с использованием цели шумоподавления T5 на C4, впоследствии дополнительно предварительно обучена с использованием цели маскировки заметного диапазона REALM в Википедии и, наконец, доработана на естественных вопросах (NQ). Статья: Сколько знаний можно вместить в параметры языковой модели? Модель можно использовать следующим образом для ответов на вопросы закрытой книги: Недавно было замечено, что модели нейронного языка, обученные на неструктурированном тексте, могут неявно хранить и извлекать знания с помощью запросов на естественном языке. В этой короткой статье мы измеряем практическую полезность этого подхода путем тонкой настройки предварительно обученных моделей для ответа на вопросы без доступа к какому-либо внешнему контексту или знаниям. Мы показываем, что этот подход масштабируется в зависимости от размера модели и конкурирует с системами открытого домена, которые явно получают ответы из внешнего источника знаний при ответе на вопросы. Чтобы облегчить воспроизводимость и будущую работу, мы публикуем наш код и обученные модели по адресу https://goo.gle/t5-cbqa.
Модальности:
Генерация текста
Задача: Генерация текста
Автор: google
Теги: tf, jax, t5, text2text-generation, en, text-generation-inference, endpoints_compatible
Лайков: 5 | Загрузок: 175
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
