Этот проект выполняет полную настройку языковой модели Qwen3-0.6B для улучшения ее возможностей медицинского рассуждения и клинического понимания. Обучение проводилось на наборе данных FreedomIntelligence/medical-o1-reasoning-SFT с использованием точности bfloat16 (bf16) для эффективной оптимизации. Был использован набор данных FreedomIntelligence/medical-o1-reasoning-SFT. Каждый пример состоит из медицинских инструкций или вопросов в сочетании с подробными, пошаговыми клиническими аргументами. * Подсказки были составлены так, чтобы стимулировать безопасные, основанные на фактах и последовательные цепочки медицинских рассуждений. Веса базовой модели Qwen3 были загружены через библиотеку unsloth с точностью bf16. Все слои модели были полностью обновлены (fullfinetuning=True`), чтобы эффективно адаптировать модель к задачам медицинского рассуждения и принятия решений. Точная настройка проводилась с использованием библиотеки Hugging Face TRL с подходом контролируемой точной настройки (SFT). Модель была обучена следовать клиническим инструкциям, интерпретировать симптомы и генерировать обоснованные диагнозы или предложения по лечению. Способность модели интерпретировать медицинские инструкции и генерировать пошаговые клинические рассуждения была значительно улучшена. Он производит…
Модальности:
Генерация текста
Области применения:
Логика и рассуждение Диалог / чат Медицина
Задача: Генерация текста
Автор: suayptalha
Теги: qwen3, unsloth, trl, sft, medical, reasoning, conversational, en
Лайков: 5 | Загрузок: 15
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
