Это объединение предварительно обученных языковых моделей, созданных с помощью mergekit. Эта модель была объединена с использованием метода слияния DARE TIES с использованием в качестве основы mistralai/Mistral-7B-Instruct-v0.1. В объединение были включены следующие модели: * BioMistral/BioMistral-7B Для создания этой модели была использована следующая конфигурация YAML: Модели больших языков (LLM) продемонстрировали замечательную универсальность в последние годы, предлагая потенциальные приложения в специализированных областях, таких как здравоохранение и медицина. Несмотря на наличие различных программ LLM с открытым исходным кодом, адаптированных для здравоохранения, адаптация LLM общего назначения к медицинской сфере представляет собой серьезные проблемы. В этой статье мы представляем BioMistral, LLM с открытым исходным кодом, адаптированный для биомедицинской области, использующий Mistral в качестве базовой модели и дополнительно прошедший предварительное обучение на PubMed Central. Мы проводим комплексную оценку BioMistral по эталону, включающему 10 установленных медицинских задач на вопросы и ответы (QA) на английском языке. Мы также исследуем облегченные модели, полученные с помощью подходов квантования и слияния моделей. Наши результаты демонстрируют превосходную производительность BioMistral по сравнению с существующими медицинскими моделями с открытым исходным кодом и его…
Модальности:
Генерация текста
Области применения:
Диалог / чат Медицина Биология
Задача: Генерация текста
Автор: BioMistral
Теги: mistral, mergekit, merge, dare, medical, biology, conversational, en
Лайков: 22 | Загрузок: 6,839
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
