Мы выпускаем FastCuRL-1.5B-Preview, медленную модель рассуждения, которая превосходит предыдущую SoTA DeepScaleR-1.5B-Preview с 50% шагов обучения! Мы адаптировали новую итеративную систему обучения с подкреплением на основе учебной программы к DeepSeek-R1-Distill-Qwen-1.5B и наблюдаем постоянное улучшение производительности по мере увеличения количества этапов обучения. Чтобы лучше воспроизводить нашу работу и продвигать прогресс исследований, мы открываем исходный код нашего кода, модели и данных. Мы сообщаем, что точность Pass@1 составила в среднем более 16 образцов для каждой проблемы. После DeepScaleR наш набор обучающих данных состоит из 40 315 уникальных пар «задача-ответ», составленных из: — задач AIME (1984–2023 гг.) — задач AMC (до 2023 г.) — набора данных Omni-MATH — набора данных Still — Наши эксперименты по обучению основаны на нашей сильно модифицированной версии verl и deepscaler. — Наша модель обучена на базе DeepSeek-R1-Distill-Qwen-1.5B.
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: Nickyang
Теги: qwen2, conversational, en, text-generation-inference, endpoints_compatible
Лайков: 8 | Загрузок: 5
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
