Модель представлена в статье «Эффективные ответы на медицинские вопросы с помощью генерации вопросов, дополненных знаниями». MQG — это языковая модель-трансформер, предварительно обученная на серии медицинских учебников и медицинских вопросах, созданных GPT-4. Веса инициализируются с помощью BioMedLM, а затем подвергаются предварительному обучению на этих наборах данных. Вопросы сформированы из подсказки, содержащей медицинские данные из учебников. Они доступны здесь: ECNQAgeneratedquestions. MQG предназначен для точной настройки для задач ответов на медицинские вопросы. В расширяющейся области применения языковых моделей представление медицинских знаний остается серьезной проблемой из-за специализированного характера предметной области. Большие языковые модели, такие как GPT-4, получают приемлемые оценки при ответах на медицинские вопросы, но модели меньшего размера сильно отстают. В этой работе мы представляем метод улучшения владения малой языковой моделью в медицинской сфере, используя двойной подход. Сначала мы настраиваем модель на корпусе медицинских учебников. Затем мы используем GPT-4 для генерации вопросов, аналогичных последующей задаче, на основе знаний учебника, и используем их для точной настройки модели…
Модальности:
Генерация текста
Области применения:
Медицина
Задача: Генерация текста
Автор: raidium
Теги: gpt2, medical, en, text-generation-inference, endpoints_compatible
Лайков: 6 | Загрузок: 18
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
