ThinkPRM-14B — это модель вознаграждения генеративного процесса (PRM), основанная на архитектуре R1-Distill-Qwen-14B. Он настроен для выполнения пошаговой проверки процессов рассуждения (например, математических решений) путем создания явной цепочки мыслей (CoT), которая включает в себя маркировку каждого шага. Он разработан с учетом высокой эффективности использования данных и требует значительно меньше данных надзора, чем традиционные дискриминационные PRM, при этом обеспечивая высокую производительность. ThinkPRM-14B предоставляет оценки проверки на уровне шагов, генерируя критические анализы на естественном языке и суждения о правильности для каждого шага в заданном префиксе решения. Он использует базовые возможности рассуждения базовой модели большого рассуждения (LRM) и расширяет их за счет тонкой настройки небольшого (1 тыс. примеров) набора данных синтетически сгенерированных проверочных CoT. Эти синтетические ЦТ были созданы с помощью запроса QwQ-32B-Preview и отфильтрованы по меткам основных этапов из набора данных PRM800K для обеспечения качества. В модели используется цель моделирования на стандартном языке, что делает ее интерпретируемой и позволяет масштабировать вычисления процесса проверки путем создания более длинных или нескольких проверочных CoT. Это продемонстрировало…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: launch
Теги: qwen2, reward-model, prm, generative reward model, process supervision, chain-of-thought, verification, math reasoning
Лайков: 6 | Загрузок: 41
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
