В этом репозитории я размещаю модель GPT-2, обученную на различных текстах для турецкого языка. Модель призвана стать отправной точкой для доработки других текстов. Можно было создать BPE на уровне байтов с помощью библиотеки Tokenizers Huggingface. С помощью библиотеки Tokenizers я создал словарь BPE размером 52 КБ на основе обучающих корпусов. После создания словаря я смог обучить GPT-2 турецкому языку на двух 2080TI в течение всего обучающего корпуса (пять эпох). Журналы во время обучения: https://tensorboard.dev/experiment/3AWKv8bBTaqcqZP5frtGkw/#scalars Доступны веса, совместимые с PyTorch и Tensorflow. Вот пример, показывающий, как использовать великолепные конвейеры Transformers для генерации текста: Если у вас есть вопросы о турецкой модели GPT2, просто откройте проблему здесь 🤗
Модальности:
Генерация текста
Задача: Генерация текста
Автор: hakanbogan
Теги: tf, jax, gpt2, turkish, tr, gpt2-tr, gpt2-turkish, text-generation-inference
Лайков: 16 | Загрузок: 4,358
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
