Описание на испанском языке происходит после описания на английском языке. GPT2-small-spanish — это современная языковая модель испанского языка, основанная на маленькой модели GPT-2. Он был обучен на испанской Википедии с использованием методов трансферного обучения и точной настройки. Обучение заняло около 70 часов с четырьмя графическими процессорами NVIDIA GTX 1080-Ti с 11 ГБ памяти DDR5 и примерно 3 ГБ (обработанных) обучающих данных. Он был доработан на основе предварительно обученного английского языка GPT-2 small с использованием библиотек Hugging Face (Transformers и Tokenizers), завернутых в структуру глубокого обучения fastai v2. Были использованы все приемы тонкой настройки fastai v2. Обучение основано исключительно на модели GPorTuguese-2, разработанной Пьером Гийу. Подробности обучения в этой статье: «Быстрее, чем обучение с нуля — точная настройка английского GPT-2 на любом языке с помощью Hugging Face и fastai v2 (практический пример с португальским)». (Скопировано из оригинальной модели GPorTuguese-2) Данные обучения, используемые для этой модели, взяты из испанской Википедии. Мы знаем, что он содержит много нефильтрованного контента из Интернета, который далеко не нейтральен. Как отмечает сама команда openAI в своей модели: > Потому что крупномасштабный язык…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: datificate
Теги: tf, jax, gpt2, es, text-generation-inference, endpoints_compatible
Лайков: 34 | Загрузок: 3,239
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
