Учитывая список событий и приоритетов, мы просим модель создать расписание, которое максимизирует общую продолжительность выбранных событий, взвешенных по приоритету. В этой настройке приоритетное событие получает вес 2, а обычное событие получает вес 1. События: — Событие A (01:27 — 01:42) — Событие B (01:15 — 02:30) — Событие C (15:43 — 17:43) Тренировка сработала! Последняя модель 7B лучше справилась с этой задачей, значительно превзойдя базовую модель и даже более крупную модель 14B на тестовом наборе. Тем не менее, он по-прежнему борется с предотвращением перекрытия событий, что позволяет предположить, что дизайн функции вознаграждения для этого конкретного ограничения может быть улучшен. Эта модель была обучена на Qwen2.5-Coder-7B-Instruct с использованием Unsloth с QLoRA для экономии графического процессора. Я использовал алгоритм обучения с подкреплением GRPO, что означает, что модель получала только подсказки (без завершения) и во время обучения руководствовалась детерминированными функциями вознаграждения. Обучение (3 эпохи) потребовало около 23 часов на одном графическом процессоре A6000. Эта модель была прежде всего экспериментом по применению GRPO. Я не рекомендую использовать языковую модель для чего-то, что можно легко решить с помощью детерминированного программирования. Если вы хотите опробовать эту модель, вам следует использовать Unsloth.…
Модальности:
Генерация текста
Области применения:
Логика и рассуждение Диалог / чат
Задача: Генерация текста
Автор: anakin87
Теги: grpo, reasoning, qlora, qwen, unsloth, conversational, en
Лайков: 6 | Загрузок: 0
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
