MED-LLM-BR — это совместный проект HAILab и Comsentimento, целью которого является разработка нескольких медицинских LLM для португальского языка, включая базовые модели и модели для конкретных задач разных размеров. Clinical-BR-LlaMA-2-7B — это усовершенствованная языковая модель, специально разработанная для создания клинических заметок на португальском языке. Эта модель опирается на сильные стороны LlaMA 2 7B, адаптируя ее с помощью целенаправленных методов точной настройки для удовлетворения уникальных требований создания клинических текстов. Сосредоточив внимание на нюансах и сложностях медицинского языка на португальском языке, Clinical-BR-LlaMA-2-7B стремится предоставить медицинским работникам контекстуально точную и актуальную клиническую документацию. Чтобы повысить эффективность использования памяти и снизить вычислительные требования, мы реализовали LoRA с 16-битной точностью в проекциях qproj и vproj. Мы настроили LoRA с R, установленным на 8, Alpha на 16 и Dropout на 0,1, что позволяет модели эффективно адаптироваться, сохраняя при этом качество вывода. Для оптимизации использовался оптимизатор AdamW с параметрами β1 = 0,9 и β2 = 0,999, что позволило добиться баланса между быстрой сходимостью и стабильностью обучения. Этот тщательный процесс настройки обеспечивает надежную работу в…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: pucpr-br
Теги: llama, pt, text-generation-inference, endpoints_compatible
Лайков: 10 | Загрузок: 28
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
