IL-7B (Immuno-LLM 7 Billion) — это LLM с 7 миллиардами параметров, обученный и объединенный с Mistral-7B для области клинической ревматологии и иммунологии. Это объединение двух моделей, обученных по одному и тому же рецепту и данным, инициализированных с использованием двух разных весов: исходных весов Mistral-7B и весов BioMistral-7B. Объединение осуществлялось с помощью mergekit. Объединение было произведено на основе двух невыпущенных моделей: — обучение rheumistral-sft на основе исходной контрольной точки мистраля проходило в два этапа: 1) «продолжение предварительной подготовки» на большом тщательно подобранном наборе данных текстов по ревматологии и иммунологии; 2) контролировал точную настройку сочетания синтетических и созданных человеком пар QA и журналов чата — biorheumistral-sft обучался так же, как и rheumistral-sft, только начинался с контрольной точки BioMistral-7B.
Модальности:
Генерация текста
Области применения:
Диалог / чат Медицина
Задача: Генерация текста
Автор: cmcmaster
Теги: mistral, mergekit, merge, medical, conversational, text-generation-inference, endpoints_compatible
Лайков: 10 | Загрузок: 13
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
