Это тонкая настройка Qwen2.5-Math-Instruct для OpenR1-220k-Math (разделение по умолчанию). > [!NOTE] > Ознакомьтесь с OpenR1-Distill-7B, чтобы увидеть улучшенную модель, которая была обучена на open-r1/Mixture-of-Thoughts и воспроизводит производительность DeepSeek-R1-Distill-Qwen-7B в нескольких областях рассуждения. Мы обучаем модель на основе разделения OpenR1-220k-Math по умолчанию на 3 эпохи. Мы используем скорость обучения 5e-5 и увеличиваем длину контекста с 4 КБ до 32 КБ, увеличивая частоту RoPE до 300 КБ. Обучение проводится по линейному графику скорости обучения с фазой разминки 10%. В таблице ниже сравнивается производительность OpenR1-Qwen-7B с DeepSeek-R1-Distill-Qwen-7B и OpenThinker-7B с использованием Lighteval. Вы можете найти код обучения и оценки по адресу: https://github.com/huggingface/open-r1/.
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: open-r1
Теги: qwen2, generated_from_trainer, trl, sft, conversational, text-generation-inference, endpoints_compatible
Лайков: 54 | Загрузок: 15
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
