GPT2 был выпущен в 2019 году и удивил многих своей возможностью генерации текста. Однако до недавнего времени у нас не было четкой модели генерации текста на польском языке, что ограничивало исследовательские возможности польских практиков НЛП. Мы надеемся, что с выпуском этой модели появится возможность проводить такие исследования. Наша модель соответствует стандартной архитектуре GPT2 и подходу к обучению. Мы используем цель моделирования причинного языка (CLM), что означает, что модель обучена предсказывать следующее слово (токен) в последовательности слов (токенов). Мы использовали польское подмножество многоязычного корпуса премии «Оскар» для обучения модели методом самоконтроля. Необработанную модель можно использовать для генерации текста или настроить для последующей задачи. Модель была обучена на данных, полученных из Интернета, и может генерировать текст, содержащий интенсивное насилие, сексуальные ситуации, нецензурную лексику и употребление наркотиков. Это также отражает предвзятость набора данных (более подробную информацию см. ниже). Эти ограничения, вероятно, распространятся и на модели с точной настройкой. На данном этапе мы не рекомендуем использовать модель за пределами исследований. В модели заложено множество источников систематической ошибки, и мы советуем помнить об этом…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: flax-community
Теги: jax, tensorboard, pl, endpoints_compatible
Лайков: 12 | Загрузок: 4,307
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
