Мы рады представить AceReason-Nemotron-1.1-7B (дата выпуска: 16 июня 2025 г.), модель математического и кодового рассуждения, построенную на базе Qwen2.5-Math-7B. Модель сначала обучается с помощью контролируемой точной настройки (SFT) на математических и программных задачах, а затем дополнительно совершенствуется с помощью обучения с подкреплением (RL) по тому же рецепту, что и AceReason-Nemotron-1.0-7B. Мы инициируем обучение RL на основе различных моделей SFT и обнаруживаем, что более сильные модели SFT продолжают давать стабильно лучшие результаты после крупномасштабного RL, хотя разрыв в производительности сокращается во время обучения RL. Благодаря более мощной основе SFT AceReason-Nemotron-1.1-7B значительно превосходит своего предшественника и устанавливает рекордно высокую производительность среди моделей рассуждения на основе Qwen2.5-7B в сложных математических тестах и тестах рассуждения кода. Для получения более подробной информации ознакомьтесь с нашим техническим отчетом. Мы сравниваем нашу модель с моделями конкурентного рассуждения сопоставимого размера в AIME 2024, AIME 2025 и LiveCodeBench (LCB) v5 (2024/08/01 — 2025/02/01) и v6 (2025/02/01-2025/05/01). Для AceReason-Nemotron-1.0-7B рецепт обучения RL улучшает начальную модель SFT DeepSeek-R1-Distill-Qwen-7B на 13,5% на AIME24, на 14,6% на AIME25, на 14,2% на LCB v5 и…
Модальности:
Генерация текста
Области применения:
Генерация кода Математика Логика и рассуждение Диалог / чат
Задача: Генерация текста
Автор: nvidia
Теги: qwen2, nvidia, reasoning, math, code, supervised fine-tuning, reinforcement learning, conversational
Лайков: 57 | Загрузок: 5,009
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
