Мы представляем OREAL-7B и OREAL-32B, серию моделей математического рассуждения, обученных с использованием обучения с подкреплением на основе Outcome REwArd, новой структуры RL, предназначенной для задач, где доступны только двоичные вознаграждения за результат. С OREAL модель 7B достигает точности 94,0 прохода за 1 на MATH-500, что соответствует производительности предыдущих моделей 32B. OREAL-32B еще больше превосходит предыдущие модели 32B, прошедшие обучение дистилляции, достигая точности 95,0 прохода за 1 проход на MATH-500. Наш метод использует выборку «лучший из N» (BoN) для клонирования поведения и изменяет форму вознаграждений отрицательной выборки, чтобы обеспечить согласованность градиента. Кроме того, чтобы решить проблему скудных вознаграждений в длинных цепочках размышлений, мы включаем модель вознаграждения на уровне токенов, которая определяет ключевые токены в траекториях рассуждений для выборки по важности. Для получения более подробной информации, пожалуйста, обратитесь к нашему [paper](). Мы выпускаем не только модели RL, но и модели SFT серии OREAL. Мы надеемся, что это поможет сообществу и принесет пользу исследованиям Math Reasoning RL. Мы также публикуем подсказки, используемые на этапе обучения RL. OREAL-7B и OREAL-32B используют системные подсказки, помогающие модели рассуждать во время обучения и тестирования. Система…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: internlm
Теги: qwen2, conversational, text-generation-inference, endpoints_compatible
Лайков: 20 | Загрузок: 23
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
