Это слияние предварительно обученных языковых моделей, созданных с помощью mergekit. Следующие модели были включены в слияние: HuggingFaceH4/zephyr-7b-beta Project44/BioMistral-7B-0.1-PubMed-V2 Для производства этой модели использовалась следующая конфигурация YAML: Large Language Models (LLM) продемонстрировали замечательную универсальность в последние годы, предлагая потенциальные применения в специализированных областях, таких как здравоохранение и медицина. Несмотря на наличие различных LLM с открытым исходным кодом, адаптированных к контекстам здравоохранения, адаптация LLM общего назначения к медицинской сфере представляет собой значительные проблемы. В этой статье мы представляем BioMistral, LLM с открытым исходным кодом, адаптированный для биомедицинской области, использующий Mistral в качестве базовой модели и дополнительно предварительно обученный на PubMed Central. Мы проводим комплексную оценку BioMistral по бенчмарку, включающему 10 установленных медицинских вопросов-ответов (QA) на английском языке. Мы также исследуем облегченные модели, полученные с помощью подходов квантования и слияния моделей. Наши результаты демонстрируют превосходную производительность BioMistral по сравнению с существующими медицинскими моделями с открытым исходным кодом и его конкурентное преимущество перед проприетарными аналогами. Наконец, чтобы…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: BioMistral
Теги: gguf, mistral, mergekit, merge, endpoints_compatible, conversational
Лайков: 3 | Загрузок: 276
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.