GPorTuguese-2 (португальский GPT-2 small) — это современная языковая модель португальского языка, основанная на небольшой модели GPT-2. Он был обучен на португальской Википедии с использованием методов трансферного обучения и точной настройки всего за день, на одном графическом процессоре NVIDIA V100 32 ГБ и с чуть более 1 ГБ обучающих данных. Это доказательство того, что можно получить современную языковую модель на любом языке с небольшими ресурсами. Он был доработан на основе предварительно обученного английского языка GPT-2 small с использованием библиотек Hugging Face (Transformers и Tokenizers), завернутых в структуру глубокого обучения fastai v2. Были использованы все приемы тонкой настройки fastai v2. Теперь он доступен на Hugging Face. Для получения дополнительной информации или запросов перейдите к разделу «Быстрее, чем обучение с нуля — точная настройка английского GPT-2 на любом языке с помощью Hugging Face и fastai v2 (практический пример с португальским)». Чуть больше чем за сутки (мы использовали только один графический процессор NVIDIA V100 32 ГБ; с помощью режима обучения Distributed Data Parallel (DDP) мы могли бы на этот раз разделить время на три до 10 часов, только с 2 графическими процессорами) мы получили потерю 3,17, точность 37,99% и недоумение 23,76 (см. таблицу результатов проверки…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: pierreguillou
Теги: tf, jax, gpt2, pt, text-generation-inference, endpoints_compatible
Лайков: 55 | Загрузок: 14,326
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
