Данная модель была подготовлена в рамках магистерской диссертации на подмножестве UFAL Medical Corpus v. 1.0. Czech-GPT2-Medical (Czech GPT-2 small) — это современная языковая модель для чешского языка, основанная на малой модели GPT-2 и специализирующаяся на медицинских текстах. В отличие от оригинальной маленькой модели GPT-2, эта модель обучена предсказывать только 512 токенов вместо 1024, поскольку она служила основой для другой задачи — генерации медицинских отчетов из рентгеновских изображений, которые, как правило, короче по своей природе. Модель была обучена на подмножестве набора данных UFAL Medical Corpus v. 1.0 с использованием методов Transfer Learning и Fine-tuning примерно за 40 минут на одном NVIDIA A100 SXM4 40 ГБ и в общей сложности 100 МБ обучающих данных. Эта модель была подготовлена в рамках магистерской диссертации как доказательство того, что можно получить современную языковую модель на чешском языке с меньшими ресурсами, чем оригинал, и за значительно более короткое время. На момент начала магистерской диссертации чешской модели ГПТ-2 не было. Он был тонко настроен из чешского GPT2-OSCAR с использованием библиотек Hugging Face (Transformers и Tokenizers), завернутых в фреймворк Fastai v2 Deep Learning. Всех
Модальности:
Генерация текста
Задача: Генерация текста
Автор: lchaloupsky
Теги: tf, gpt2, cs, text-generation-inference, endpoints_compatible
Лайков: 3 | Загрузок: 20
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
