BAELAB, Пусанский национальный университет, Пусан, Корея Ли Чжэ, Пак Тэкихун, Пэ Хёрим† 🌟 Github | 📥 1.5Б Скачать | 📥7Б Скачать | 📄 Ссылка на Arxiv Paper | Недавние достижения в методах градиентной политики разреженного вознаграждения позволили эффективно настраивать обучение с подкреплением (LR) для языковых моделей после обучения. Однако для задач рассуждения, таких как решение математических задач, вознаграждение за результат в бинарном виде обеспечивает ограниченную обратную связь на промежуточных этапах рассуждения. Хотя в некоторых исследованиях пытались решить эту проблему путем оценки общего качества рассуждения, остается неясным, являются ли эти вознаграждения надежным показателем качества поэтапного рассуждения. В этом исследовании мы рассматриваем рассуждение как структурированный процесс и предлагаем модель вознаграждения TACReward. Модель можно легко интегрировать в системы с разреженным вознаграждением без дополнительных затрат на аннотации вручную или архитектурных модификаций. TACReward агрегирует поэтапные структурные отклонения между учителями и политическими рассуждениями, используя методы интеллектуального анализа процессов, создавая скалярный диапазон вознаграждения на выходе $[0, 1]$. Эксперименты с несколькими тестами математических рассуждений показывают, что интеграция TACReward в разреженные…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: Thrillcrazyer
Теги: qwen2, conversational, text-generation-inference, endpoints_compatible
Лайков: 6 | Загрузок: 17
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
