RLPR-Qwen2.5-7B-Base обучается на базе Qwen2.5-7B-Base с помощью структуры RLPR, которая исключает зависимость от внешних верификаторов и является простой и обобщаемой для большего количества доменов. 💡 Улучшение рассуждения без проверки: RLPR является пионером в обучении с подкреплением для задач рассуждения, используя внутреннюю вероятность генерации LLM в качестве прямого сигнала вознаграждения. Это устраняет необходимость во внешних верификаторах и специализированной тонкой настройке, обеспечивая широкую применимость и эффективную обработку сложных и разнообразных ответов. 🛠️ Инновационная система вознаграждения и обучения: включает надежное вознаграждение на основе вероятности (PR), использующее средние вероятности декодирования эталонных ответов для более качественных, объективных сигналов вознаграждения, превосходящих вероятность наивной последовательности. Реализует механизм фильтрации стандартных отклонений, который динамически фильтрует подсказки для стабилизации обучения и значительного повышения конечной производительности. 🚀 Высокие результаты в общих и математических рассуждениях:** Демонстрирует существенные улучшения в рассуждениях в различных тестах (например, 56,0 в MMLU-Pro, 55,4 в теоремеQA с Qwen2.5-7B). RLPR превосходит сильные модели, зависящие от внешних верификаторов (таких как General Reasoner-7B). -…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: openbmb
Теги: qwen2, text-generation-inference, conversational, en, endpoints_compatible
Лайков: 9 | Загрузок: 67
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
