Эта модель представляет собой модель декодера трансформатора GPT-Neo, разработанную с использованием репликации EleutherAI архитектуры GPT-3. Он был обучен на тщательно очищенном корпусе румынского текста объемом около 40 ГБ, состоящем из Оскара, Опуса, Википедии, литературы и различных других фрагментов текста, объединенных вместе и дедуплицированных. Его обучали около месяца, всего 1,5 млн шагов на тренажере ТПУ v3-32. Оценка будет добавлена в ближайшее время, а также на https://github.com/dumitrescustefan/Romanian-Transformers. Благодарим TPU Research Cloud за машину TPUv3, необходимую для обучения этой модели!
Модальности:
Генерация текста
Задача: Генерация текста
Автор: dumitrescustefan
Теги: gpt_neo, romanian, text generation, causal lm, gpt-neo, ro, endpoints_compatible
Лайков: 13 | Загрузок: 848
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
