Несмотря на то, что в открытом доступе было много работ по воспроизведению DeepSeek-R1 на моделях 72B или меньше, ни одна из них не достигла такой производительности в жестком математическом соревновании AIME24, как DeepSeek-R1-Distill-Qwen-32B с результатом 72,6. Мы представляем Light-R1-32B, который достигает 76,6 баллов при обучении AIME24 с помощью Qwen2.5-32B-Instruct. Начав с моделей без длинного COT (с нуля с точки зрения R1) и обучаясь на очищенных математических данных, мы усовершенствовали DeepSeek-R1 с помощью учебной программы SFT и DPO, чтобы превзойти DeepSeek-R1-Distill-Qwen-32B на AIME24 и 25, и улучшили его дальше за счет слияния моделей. Что еще более важно, помимо современной модели Light-R1-32B, созданной с нуля, мы также выпустили в первый день все наборы обучающих данных нашей учебной программы SFT и DPO, а также учебный код на основе 360-LLaMA-Factory. Ориентировочное время обучения на 12 машинах H800 занимает не более 6 часов (около 1000 долларов США). Мы считаем, что Light-R1 представляет собой практический способ обучения сильных длинных моделей COT с нуля (на моделях без длинного COT). В то время как мы работаем над дальнейшим улучшением наших моделей с помощью RL, учебная программа SFT и DPO облегчает контроль над процессом и является более экономичной. С быстрым развитием обучения и вывода…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: qihoo360
Теги: qwen2, conversational, text-generation-inference, endpoints_compatible
Лайков: 89 | Загрузок: 91
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
