BioMedGPT-LM-7B — первая крупная модель генеративного языка, основанная на Llama2, в биомедицинской области. Он был доработан на основе Llama2-7B-Chat с миллионами биомедицинских статей из корпуса S2ORC. Благодаря дальнейшей тонкой настройке BioMedGPT-LM-7B превосходит или находится на одном уровне с человеческими и значительно более крупными моделями фундаментов общего назначения по нескольким биомедицинским критериям качества. Эпохи: 5 Размер пакета: 192 Длина контекста: 2048 Скорость обучения: 2e-5 BioMedGPT-LM-7B настроен на более чем 26 миллиардов токенов, имеющих большое значение для области биомедицины. Данные для точной настройки извлекаются из миллионов биомедицинских статей в формате S2ORC с использованием PubMed Central (PMC)-ID и PubMed ID в качестве критериев. BioMedGPT-LM-7B — это генеративная языковая модель BioMedGPT-10B, версии BioMedGPT с открытым исходным кодом. BioMedGPT — это открытый мультимодальный генеративный предварительно обученный преобразователь (GPT) для биомедицины, который соединяет модальность естественного языка и разнообразные модальности биомедицинских данных с помощью больших генеративных языковых моделей. Более подробную техническую информацию о BioMedGPT-LM-7B, BioMedGPT-10B и BioMedGPT можно найти в техническом отчете: «BioMedGPT: открытый мультимодальный генеративный предварительно обученный трансформатор для биомедицины».…
Модальности:
Генерация текста
Области применения:
Медицина
Задача: Генерация текста
Автор: PharMolix
Теги: llama, medical, text-generation-inference, endpoints_compatible
Лайков: 82 | Загрузок: 526
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
