Это объединение предварительно обученных языковых моделей, созданных с помощью mergekit. В слияние были включены следующие модели: BioMistral/BioMistral-7B mistralai/Mistral-7B-Instruct-v0.1 Для создания этой модели использовалась следующая конфигурация YAML: Модели больших языков (LLM) продемонстрировали замечательную универсальность в последние годы, предлагая потенциальные приложения в специализированных областях, таких как здравоохранение и медицина. Несмотря на наличие различных программ LLM с открытым исходным кодом, адаптированных для здравоохранения, адаптация LLM общего назначения к медицинской сфере представляет собой серьезные проблемы. В этой статье мы представляем BioMistral, LLM с открытым исходным кодом, адаптированный для биомедицинской области, использующий Mistral в качестве базовой модели и дополнительно прошедший предварительное обучение на PubMed Central. Мы проводим комплексную оценку BioMistral по эталону, включающему 10 установленных медицинских задач на вопросы и ответы (QA) на английском языке. Мы также исследуем облегченные модели, полученные с помощью подходов квантования и слияния моделей. Наши результаты демонстрируют превосходные характеристики BioMistral по сравнению с существующими медицинскими моделями с открытым исходным кодом и его конкурентное преимущество по сравнению с запатентованными аналогами. Наконец, чтобы обратиться…
Модальности:
Генерация текста
Области применения:
Диалог / чат Медицина Биология
Задача: Генерация текста
Автор: BioMistral
Теги: mistral, mergekit, merge, slerp, medical, biology, conversational, fr
Лайков: 7 | Загрузок: 597
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
