Это предварительно подготовленная gpt2-среда для вьетнамского языка с использованием задачи моделирования случайного языка (CLM). Он был представлен в этой статье и впервые опубликован на этой странице. ГПТ-2 (сначала) — это модель трансформаторов, предварительно обученная на очень большом корпусе английских данных самоконтролем. Это означает, что он был предварительно обучен только на необработанных текстах, и никто не маркировал их каким-либо образом (поэтому он может использовать много общедоступных данных) с помощью автоматического процесса для генерации входных данных и меток из этих текстов. Точнее, его учили угадывать следующее слово в предложениях. Отсюда вы могли найти другую предварительно обученную версию: gpt2-base, [gpt2-large]() Это комбинация нескольких вьетнамских наборов данных для предварительного обучения CLM, таких как GPT, GPT2 и т. д. Набор данных состоит из: — vietgpt/covid19newsvi — hieunguyen1053/binhvq-news-corpus — oscar (unshuffleddeduplicatedvi) — vietgpt/wikipediavi Вы можете узнать комбинированную версию здесь: duongttr/vi-dataset-for-pretrain Мы обучили модель ~100k шагов, с lr=1e-4, bs=1920, optimizer=adamw на TPU-VM-3.8 из программы TRC. Обучение стоит около 2,5 дней.
Модальности:
Генерация текста
Задача: Генерация текста
Автор: chronopt-research
Теги: jax, tensorboard, gpt2, vi, model-index, text-generation-inference, endpoints_compatible
Лайков: 3 | Загрузок: 42
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
