Light-R1-32B-DS — это математическая модель, близкая к SOTA 32B, с оценками AIME24 и 25 78,1 и 65,9. Созданный на основе DeepSeek-R1-Distill-Qwen-32B, Light-R1-32B-DS дополнительно обучается только с использованием данных SFT 3K, которые мы выложили в открытый доступ, что демонстрирует высокую применимость опубликованных данных. Мы рады представить эту модель вместе с техническим отчетом. Мы тщательно оценили загрязнение данных нескольких наборов данных с открытым исходным кодом. Хотя определенное загрязнение может быть неизбежным во время предварительного обучения, после обучения недопустимо сравнивать его с контрольными показателями. MATH-500 несколько усложнен десятками одинаковых вопросов или измененными только числами. AIME 24 и 25 остаются нетронутыми, но мы должны уделять особое внимание при включении данных AIME до 2023 года. Light-R1 провел тщательную дезактивацию с точным соответствием (за исключением цифр) и совпадением N-грамм (N = 32).
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: qihoo360
Теги: qwen2, conversational, text-generation-inference, endpoints_compatible
Лайков: 15 | Загрузок: 52
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
