Модель GPT2 из набора данных арабской Википедии, основанная на gpt2-small (с использованием Fastai2). Пример приведен в этом блокноте Colab. Включена генерация как текста, так и стихов (точно настроенная модель). GPT2-small-arabic (обученный на арабской Википедии) имеет несколько ограничений с точки зрения покрытия (качество арабской Википедии, отсутствие диакритических знаков) и эффективности обучения. Используйте в качестве демонстрации или доказательства концепции, но не в качестве рабочего кода. Эта предварительно обученная модель использовала дамп арабской Википедии (около 900 МБ). Обучение проводилось с использованием библиотеки Fastai2 на Kaggle с использованием бесплатного графического процессора. Итоговое недоумение составило 72,19, потеря: 4,28, точность: 0,307.
Модальности:
Генерация текста
Задача: Генерация текста
Автор: akhooli
Теги: jax, gpt2, ar, text-generation-inference, endpoints_compatible
Лайков: 19 | Загрузок: 3,391
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
