Небольшая модель французского языка для генерации текста на французском языке (и, возможно, других задач НЛП…) Эта французская модель gpt2 основана на небольшой модели openai GPT-2. Он был обучен на очень небольшом (190 МБ) наборе данных из французской Википедии с использованием методов трансферного обучения и точной настройки всего за день на одном Colab Pro с 1 графическим процессором 16 ГБ. См. https://medium.com/@pierre_guillou/faster-than-training-from-scratch-fine-tuning-the-english-gpt-2-in-any-language-with-hugging-f2ec05c98787. Это доказательство концепции, которое позволяет получить языковую модель на любом языке с низким уровнем ресурсов. Он был доработан на основе предварительно обученного английского языка GPT-2 small с использованием библиотек Hugging Face (Transformers и Tokenizers), завернутых в структуру глубокого обучения fastai v2. Были использованы все приемы тонкой настройки fastai v2. Теперь он доступен на Hugging Face. Для получения дополнительной информации или запросов перейдите к разделу «Быстрее, чем обучение с нуля — точная настройка английского GPT-2 на любом языке с помощью Hugging Face и fastai v2 (практический пример с португальским)». Модель можно улучшить за счет использования большего набора данных в рамках более крупной мощной инфраструктуры обучения. По крайней мере, этот можно использовать для небольших доработок…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: dbddv01
Теги: jax, gpt2, french, model, fr, text-generation-inference, endpoints_compatible
Лайков: 10 | Загрузок: 2,647
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
