Этот проект настраивает модель Qwen/Qwen3-32B с использованием набора данных для медицинских рассуждений (FreedomIntelligence/medical-o1-reasoning-SFT) с 4-битным квантованием для обучения с эффективным использованием памяти. 1. Загрузите модель и токенизатор. Сценарий загружает модель Qwen3-32B и применяет 4-битное квантование с помощью BitsAndBytesConfig для эффективного использования памяти. 2. Подготовьте набор данных. В блокноте используется FreedomIntelligence/medical-o1-reasoning-SFT (первые 500 образцов). — Он форматирует каждый пример в подсказку, выполняющую инструкции, с пошаговыми рассуждениями. 3. Точная настройка. Точная настройка настраивается с помощью PEFT (стиль настройки LoRA/адаптера) для изменения небольшого подмножества параметров модели. — TRL (Transformer Reinforcement Learning) используется для эффективной точной настройки. 4. Отправка точно настроенной модели. После обучения точно настроенная модель и токенизатор возвращаются в вашу учетную запись Hugging Face. — Требуется графический процессор: убедитесь, что у вас есть доступ к одному процессору A100. Получите его от RunPod на несколько часов. Обучение заняло всего 50 минут. — Среда: ноутбук ожидает среду, в которой доступны драйверы NVIDIA CUDA (проверка nvidia-smi включена). — Эффективность памяти: 4-битная загрузка значительно снижает объем памяти.
Модальности:
Генерация текста
Области применения:
Диалог / чат Медицина
Задача: Генерация текста
Автор: kingabzpro
Теги: medical, xnet, qwen, conversational, en, endpoints_compatible
Лайков: 13 | Загрузок: 0
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
