bolbolzaban/gpt2-persian — это языковая модель gpt2, которая обучается с гиперпараметрами, аналогичными стандартному gpt2-medium, со следующими отличиями: 1. Размер контекста уменьшен с 1024 до 256 подслов, чтобы сделать обучение доступным. 2. Вместо BPE для токенизации используется токенизатор фрагмента предложения Google. 3. Набор обучающих данных включает только персидский текст. Все неперсидские символы заменяются специальными токенами (например, [LAT], [URL], [NUM]). Более подробную информацию можно найти в этом сообщении блога. Также попробуйте модель здесь или на Bolbolzaban.com. Вы можете использовать эту модель напрямую с конвейером для генерации текста: если вы используете Tensorflow, импортируйте TFGPT2LMHeadModel вместо GPT2LMHeadModel. gpt-persian обучен с целью исследования персидской поэзии. Из-за этого все английские слова и цифры заменяются специальными токенами, а во входном тексте используется только стандартный персидский алфавит. Вот один пример: Исходный текст: اگر آیفون یا آیپد شما دارای سیستم عامل iOS 14.3 یا iPadOS 14.3 یا نسخههای جدیدتر باشد Текст, используемый в обучении: اگر آیفون یا آیپد شما دارای سیستم عامل [LAT] [NUM] یا [LAT] [NUM] یا نسخههای جدیدتر باشد Пожалуйста, рассмотрите возможность нормализации ввода…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: bolbolzaban
Теги: tf, jax, gpt2, farsi, persian, fa, text-generation-inference, endpoints_compatible
Лайков: 29 | Загрузок: 3,056
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
