Предварительно обученные языковые модели привлекают все большее внимание в биомедицинской сфере, чему способствовал их большой успех в области естественного языка. Среди двух основных ветвей предварительно обученных языковых моделей в общей языковой области, то есть BERT (и его варианты) и GPT (и его варианты), первая широко изучалась в биомедицинской области, например BioBERT и PubMedBERT. Несмотря на то, что они добились больших успехов в решении множества сложных биомедицинских задач, отсутствие возможностей генерации ограничивает сферу их применения. В этой статье мы предлагаем BioGPT, предметно-ориентированную модель генеративного языка Transformer, предварительно обученную на крупномасштабной биомедицинской литературе. Мы оцениваем BioGPT в шести задачах биомедицинской обработки естественного языка и демонстрируем, что наша модель превосходит предыдущие модели в большинстве задач. В частности, мы получаем оценку F1 44,98%, 38,42% и 40,76% по задачам сквозного извлечения связей BC5CDR, KD-DTI и DDI соответственно, а также точность 78,2% по PubMedQA, что создает новый рекорд. Наше тематическое исследование по созданию текста дополнительно демонстрирует преимущество BioGPT в биомедицинской литературе для создания беглых описаний биомедицинской…
Модальности:
Генерация текста
Области применения:
Медицина
Задача: Генерация текста
Автор: microsoft
Теги: biogpt, medical, en, endpoints_compatible
Лайков: 119 | Загрузок: 489
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
