> [!NOTE] > Мы выпустили статью для OpenThoughts! См. нашу статью здесь. Эта модель представляет собой доработанную версию Qwen/Qwen2.5-32B-Instruct для набора данных OpenThoughts2-1M. Модель OpenThinker2-32B — это самая производительная модель открытых данных. Эта модель является улучшением нашей предыдущей модели OpenThinker-32B, которая была обучена на 114 тысячах примеров из OpenThoughts-114k. Цифры, указанные в таблице ниже, рассчитаны с помощью нашего инструмента с открытым исходным кодом Evalchemy. Набор данных OpenThoughts2-1M был создан путем дополнения OpenThoughts-114k существующими наборами данных, такими как OpenR1, а также дополнительными математическими данными и данными для анализа кода. Мы генерируем дополнительные математические и кодовые данные, удаляя более 26 различных методологий генерации вопросов и выбирая из них наиболее эффективные. Дополнительную информацию см. на странице набора данных OpenThoughts2-1M или в нашем блоге. Во время обучения использовались следующие гиперпараметры: — скорость обучения: 8e-05 — начальное число: 42 — распределенный тип: multi-GPU — numdevices: 512 -gradientaccumulationsteps: 1 — totaltrainbatchsize: 512 — оптимизатор: используйте OptimizerNames.ADAMWTORCH с betas=(0.9,0.999) и epsilon=1e-08 и оптимизатором=Нет дополнительных аргументы оптимизатора -…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: open-thoughts
Теги: qwen2, llama-factory, full, generated_from_trainer, conversational, text-generation-inference, endpoints_compatible
Лайков: 57 | Загрузок: 116
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
