Коллекция моделей MediPhi включает 7 небольших языковых моделей с 3,8B параметров из базовой модели Phi-3.5-mini-instruct, специализирующейся в медицинской и клинической областях. Коллекция построена по модульному принципу. Пять экспертов MediPhi тщательно настраивают различные медицинские корпуса (например, коммерческую информацию PubMed, медицинскую Википедию, медицинские рекомендации, медицинское кодирование и клинические документы с открытым исходным кодом) и снова объединяют их с методом SLERP в своей базовой модели для сохранения общих способностей. Одна модель объединила всех пяти экспертов в одного общего эксперта с помощью метода объединения нескольких моделей BreadCrumbs. Наконец, мы клинически согласовали этого общего эксперта, используя наши крупномасштабные корпуса MediFlow (см. набор данных microsoft/mediflow), чтобы получить окончательную экспертную модель MediPhi-Instruct. Эта модель представляет собой MediPhi-PubMed, полученную путем объединения тонко настроенного эксперта PubMed с методом SLERP в базовую модель на уровне 10%. — Разработано: Microsoft Healthcare & Life Sciences — Тип модели: Phi3 — Язык(и) (NLP): английский — Лицензия: MIT — Точная настройка на основе модели: microsoft/Phi-3.5-mini-instruct — Репозиторий: текущий репозиторий HF — Бумага: Модульный подход для клинических SLM, основанный на синтетических данных с предварительным обучением…
Модальности:
Генерация текста
Области применения:
Диалог / чат Медицина
Задача: Генерация текста
Автор: microsoft
Теги: phi3, merge, mergekit, medical, clinical, conversational, en, text-generation-inference
Лайков: 12 | Загрузок: 190
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
