> [!NOTE] > Мы выпустили статью для OpenThoughts! См. нашу статью здесь. Эта модель представляет собой доработанную версию Qwen/Qwen2.5-1.5B-Instruct для набора данных OpenThoughts3-1.2M. Цифры, указанные в таблице ниже, рассчитаны с помощью нашего инструмента с открытым исходным кодом Evalchemy. В таблице ниже жирным шрифтом выделены значения в каждом столбце, которые находятся в пределах 2 стандартных ошибок от наилучшего. Ключом к высокой производительности модели является наш комплексный конвейер данных и более 1000 экспериментов по абляции. Это привело к созданию OpenThoughts3-1.2M, который состоит из 850 000 вопросов по математике, 250 000 вопросов по коду и 100 000 вопросов по естественным наукам. Следы рассуждений генерируются с помощью QwQ-32B. Дополнительную информацию см. на странице набора данных OpenThoughts3-1.2M или в нашей статье. Во время обучения использовались следующие гиперпараметры: — скорость обучения: 0,00016 — trainbatchsize: 4 — evalbatchsize: 8 — начальное число: 42 — распределенный тип: multi-GPU — numdevices: 64 — totaltrainbatchsize: 256 — оптимизатор: используйте OptimizerNames.ADAMWTORCH с betas=(0.9,0.999) и epsilon=1e-08 иOptimargs=Нет дополнительных аргументов оптимизатора — lrschedulertype: cosine — lrschedulerwarmupratio: 0.1 — numepochs: 7.0 — Transformers 4.46.1 — Pytorch 2.3.0 -…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: open-thoughts
Теги: qwen2, llama-factory, full, generated_from_trainer, conversational, text-generation-inference, endpoints_compatible
Лайков: 14 | Загрузок: 14,524
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
