— https://huggingface.co/benjamin/gerpt2 — https://huggingface.co/benjamin/gerpt2-large См. карточку модели GPT2, чтобы узнать об ограничениях и предвзятости. Подробную информацию о GPT2 см. в документации GPT2. Я оценил как GerPT2-large, так и другой немецкий GPT2, dbmdz/german-gpt2, в наборе данных CC-100 и в немецкой Википедии: код см. в скрипте Assessment.py в репозитории GerPT2 на Github. GerPT2-large обучен на всех немецких данных из корпуса CC-100, а веса были инициализированы из английской модели GPT2. GerPT2-large обучался с помощью: — размера пакета 256 — с использованием скорости обучения OneCycle с максимальным значением 5e-3 — с помощью AdamW со снижением веса 0,01 — в течение 2 эпох. Чтобы обучить GerPT2-large, выполните следующие действия. Скрипты находятся в репозитории Github: 0. Загрузите и разархивируйте данные обучения с http://data.statmt.org/cc-100/. 1. Обучите токенизатор с помощью файлаprepre/traintokenizer.py. В качестве обучающих данных для токенизатора я использовал случайное подмножество из 5% данных CC-100. 2. (необязательно) сгенерируйте входную матрицу внедрения на немецком языке с помощью файлаprepre/generatealignedwte.py`. Здесь используется хитрый трюк для семантического сопоставления токенов из английского токенизатора с токенами из немецкого…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: benjamin
Теги: jax, gpt2, de, text-generation-inference, endpoints_compatible
Лайков: 9 | Загрузок: 3,672
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
