Eurus-2-7B-PRIME обучается с использованием метода PRIME (Process Reinforcement by IMplicit reward), решения с открытым исходным кодом для онлайн-обучения с подкреплением (RL) с процессными вознаграждениями, чтобы улучшить мыслительные способности языковых моделей за пределами имитации или дистилляции. Он начинается с Eurus-2-7B-SFT и обучается на Eurus-2-RL-Data. Как показано на анимации выше, в PRIME модель политики и PRM инициализируются с помощью модели SFT. Для каждой итерации RL модель политики сначала генерирует развертывания. Затем неявный PRM и верификатор результата оценивают развертывания, а неявный PRM обновляется в развертываниях с вознаграждением за результат. Наконец, вознаграждение за результат \(ro\) и вознаграждение за процесс \(rp\) объединяются и используются для обновления модели политики. 1. Оперативная фильтрация на основе производительности модели политики, сохраняются только те, для которых модель политики \(pitheta\) достигает точности от 0,2 до 0,8. 2. Рассчитайте неявное вознаграждение процесса \(r^t\). 3. Обновить неявную PRM \(pipsi\) на основе прогнозируемого вознаграждения неявного процесса \(r^t\) и метки исходного истинного результата \(r\). 4. Оценка преимущества с помощью RLOO. В частности, мы сначала рассчитываем возврат вознаграждений за результат и…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: PRIME-RL
Теги: qwen2, conversational, text-generation-inference, endpoints_compatible
Лайков: 62 | Загрузок: 47
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
