Эта модель была обучена в рамках магистерской диссертации на чешской части набора данных OSCAR. Czech-GPT2-OSCAR (чешский GPT-2 small) — это современная языковая модель чешского языка, основанная на маленькой модели GPT-2. В отличие от исходной небольшой модели GPT-2, эта модель обучена прогнозировать только 512 токенов вместо 1024, поскольку она служит основой для Czech-GPT2-Medical. Модель была обучена чешской части набора данных OSCAR с использованием методов трансферного обучения и точной настройки примерно за неделю на одном NVIDIA A100 SXM4 40 ГБ и с общим объемом обучающих данных 21 ГБ. Эта модель была обучена в рамках магистерской диссертации в качестве доказательства концепции того, что можно получить современную языковую модель на чешском языке с меньшими ресурсами, чем исходная, и в значительно более короткие сроки и, главным образом, в качестве основы для чешской-GPT2-медицинской модели. На момент написания магистерской диссертации чешской модели GPT-2 не было. Он был доработан на основе предварительно обученного английского языка GPT-2 small с использованием библиотек Hugging Face (Transformers и Tokenizers), завернутых в структуру глубокого обучения fastai v2. Были использованы все приемы тонкой настройки fastai v2. Решение основано на Faster…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: lchaloupsky
Теги: tf, gpt2, cs, text-generation-inference, endpoints_compatible
Лайков: 5 | Загрузок: 121
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
