> [!NOTE] > Мы выпустили статью для OpenThoughts! См. нашу статью здесь. Эта модель представляет собой доработанную версию Qwen/Qwen2.5-7B-Instruct для набора данных OpenThoughts3-1.2M. Она представляет собой заметное улучшение по сравнению с нашими предыдущими моделями OpenThinker-7B и OpenThinker2-7B, а также превосходит несколько других моделей 7B с сильным рассуждением, таких как DeepSeek-R1-Distill-Qwen-7B и Llama-3.1-Nemotron-Nano-8B-v1, несмотря на то, что она обучалась только с помощью SFT, без какого-либо RL. На этот раз мы также выпустили статью! Более подробную информацию можно найти в нашей статье и сообщении в блоге. OpenThinker3-32B будет следовать! 👀 Цифры, указанные в таблице ниже, рассчитаны с помощью нашего инструмента с открытым исходным кодом Evalchemy. В таблице ниже жирным шрифтом выделены значения в каждом столбце, которые находятся в пределах 2 стандартных ошибок от наилучшего. Ключом к высокой производительности модели является наш комплексный конвейер данных и более 1000 экспериментов по абляции. Это привело к созданию OpenThoughts3-1.2M, который состоит из 850 000 вопросов по математике, 250 000 вопросов по коду и 100 000 вопросов по естественным наукам. Следы рассуждений генерируются с помощью QwQ-32B. Дополнительную информацию см. на странице набора данных OpenThoughts3-1.2M или в нашей статье. При обучении использовались следующие гиперпараметры: -…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: open-thoughts
Теги: qwen2, llama-factory, full, generated_from_trainer, conversational, text-generation-inference, endpoints_compatible
Лайков: 134 | Загрузок: 6,110
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
