Яванский GPT-2 Small — это языковая модель, основанная на модели GPT-2. Обучение проводилось на последних (конец декабря 2020 г.) статьях яванской Википедии. Первоначально модель представляла собой предварительно обученную английскую модель GPT-2 HuggingFace, а затем была доработана на яванском наборе данных. Многие из используемых методов основаны на записной книжке/блоге, которым поделился Пьер Гийу, где Пьер Гийу точно настроил английскую модель GPT-2 на португальском наборе данных. Используемые платформы включают Transformers HuggingFace и библиотеку глубокого обучения fast.ai. PyTorch использовался в качестве серверной платформы во время обучения, но, тем не менее, модель остается совместимой с TensorFlow. Перед точной настройкой английская модель GPT-2 прошла этап проверки, чтобы увидеть, как модель работает перед обучением. Затем модель обучалась в течение 5 эпох, и вот результаты. Помните, что хотя набор данных взят из Википедии, модель не всегда может генерировать фактические тексты. Кроме того, предвзятости, возникшие из статей в Википедии, могут быть перенесены на результаты этой модели. Большое спасибо Пьеру Гийу за то, что он поделился своей работой, которая не только позволила мне реализовать этот проект, но и…
Модальности:
Генерация текста
Языки программирования:
Java
Задача: Генерация текста
Автор: w11wo
Теги: tf, jax, gpt2, javanese-gpt2-small, jv, text-generation-inference, endpoints_compatible
Лайков: 4 | Загрузок: 15
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
