В этом репозитории мы публикуем (еще одну) модель GPT-2, обученную на различных текстах для немецкого языка. Модель задумана как отправная точка для тонкой настройки других текстов, и она определенно не так хороша или «опасна», как английская модель GPT-3. Мы не планируем масштабного пиара или постановочных релизов этой модели 😉 Более подробную информацию о GPT-2 можно найти в замечательной документации Hugging Face. 16.08.2021: Публичный выпуск переобученной версии нашей немецкой модели GPT-2 с лучшими результатами. 15.11.2020: Первый релиз. Пожалуйста, используйте тег v1.0 для этой старой версии. Мы используем практически те же корпуса, что и для обучения модели DBMDZ BERT, которую можно найти в этом репозитории. Благодаря замечательной команде Hugging Face стало возможным создавать BPE на уровне байтов с помощью их потрясающей библиотеки Tokenizers. С помощью ранее упомянутой замечательной библиотеки Tokenizers мы создали словарь BPE размером 50 КБ на основе обучающих корпусов. После создания словаря мы смогли обучить GPT-2 немецкому языку на TPU v3-8 по всему обучающему корпусу в течение 20 эпох. Все гиперпараметры можно найти в официальной документации JAX/FLAX на сайте Transformers. Однако генерация текста — это немного больше…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: dbmdz
Теги: tf, jax, onnx, gpt2, de, text-generation-inference, endpoints_compatible
Лайков: 30 | Загрузок: 10,079
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
