Доказано, что более длительное мышление во время вывода умозаключений открывает превосходные способности к рассуждению и повышает производительность экспертного уровня при решении сложных вопросов и задач. С момента выпуска моделей серии DeepSeek R1 с открытым исходным кодом многочисленные усилия с открытым исходным кодом [s1, LIMO, Light-R1] были сосредоточены на воспроизведении результатов (особенно в соответствии с последними результатами [Доказательство или блеф?, Модели рассуждения не всегда говорят то, что они думают], что поднимает вопрос о правильности промежуточных шагов длинного COT в моделях рассуждений, это важно с точки зрения интерпретируемости, надежности и безопасности, чтобы гарантировать, что цепочки рассуждений не будут Следовательно, в этом исследовании мы работаем над повышением производительности моделей рассуждений без обучения на очень высокой длине (24 КБ/32 КБ) и ограничении контекста 16 КБ. Мы считаем, что, хотя чрезвычайно длинные цепочки рассуждений по-прежнему необходимы для действительно сложных задач, также важно сначала максимизировать производительность в более низком контексте, прежде чем мы приступим к расширению цепочек рассуждений. Мы начнем с создания высококачественного математического корпуса из следующих наборов данных с открытым исходным кодом: — Open-R1. — подмножество по умолчанию — Нумина – Олимпиады…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: FractalAIResearch
Теги: qwen2, conversational, text-generation-inference, endpoints_compatible
Лайков: 289 | Загрузок: 648
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
