II-Medical-7B-Preview — это модель медицинского рассуждения, обученная на комплексном наборе данных медицинских знаний. Модель предназначена для расширения возможностей искусственного интеллекта в медицине. Мы собрали и создали полный набор наборов данных для рассуждений в медицинской сфере и выполнили тонкую настройку SFT на модели Qwen/Qwen2.5-7B-Instruct. После этого мы дополнительно оптимизировали модель SFT, обучив DAPO на наборе данных для повышения производительности. — Максимальная длина: 16378. — Размер пакета: 128. — Скорость обучения: 5e-5. — Количество эпох: 4. — Максимальная длина подсказки: 2048 токенов. — Максимальная длина ответа: 12288 токенов. — Слишком длинный буфер: включено, 4096 токенов, штрафной коэффициент 1,0. — Коэффициент зажима: низкий 0,2, высокий 0,28. — Размеры пакетов: приглашение поезда 512, приглашение генерации 1536, мини-пакет 32. — Ответов на приглашение: 16. — Температура: 1,0, Top-p: 1,0, Top-k: -1 (развертывание vLLM). — Скорость обучения: 1e-6, шаги разминки: 10, снижение веса: 0,1. — Агрегация потерь: Токен-среднее. — Градиентное отсечение: 1.0. — Коэффициент энтропии: 0. Мы оцениваем десять тестов медицинского контроля качества, включая MedMCQA, MedQA, PubMedQA, вопросы, связанные с медициной, от MMLU-Pro и GPQA, небольшие наборы QA от Lancet и New England Journal of Medicine, 4…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: Intelligent-Internet
Теги: qwen2, conversational, text-generation-inference, endpoints_compatible
Лайков: 13 | Загрузок: 23
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
