Эта модель представляет собой доработанную версию microsoft/BioGPT-Large, обученную на отформатированной версии набора данных MedQuad-MedicalQnADataset. Она демонстрирует следующие результаты на оценочном наборе: — Потеря: 1,1114. В качестве базовой модели используется BioGPT от Microsoft, которая была дообучена с помощью специального промпта для диалогового чат-бота, имитирующего общение между пациентом и врачом. The prompt used is as follows: The fine-tuned model has a saved generation config, to use it: For best results, please use this as your generator function: This is a private project for fine-tuning a medical language model, it is not intended to be used as a source of medical advice. The following hyperparameters were used during training: — learningrate: 0.0005 — trainbatchsize: 4 — evalbatchsize: 4 — seed: 42 — gradientaccumulationsteps: 16 — totaltrainbatchsize: 64 — optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08 — lrschedulertype: cosine — lrschedulerwarmupratio: 0.03 — numepochs: 3 — mixedprecisiontraining: Native AMP — Transformers 4.36.0.dev0 — Pytorch 2.1.0+cu118 — Datasets 2.15.0 — Tokenizers 0.15.0
Модальности:
Генерация текста
Задача: Генерация текста
Автор: RobCzikkel
Теги: tensorboard, biogpt, generated_from_trainer, endpoints_compatible
Лайков: 2 | Загрузок: 18
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.