> [!NOTE] > Мы выпустили статью для OpenThoughts! См. нашу статью здесь. Эта модель представляет собой доработанную версию Qwen/Qwen2.5-7B-Instruct для набора данных OpenThoughts2-1M. Модель OpenThinker2-7B — это лучшая модель рассуждения на основе открытых данных 7B. Он обеспечивает производительность, сравнимую с современными моделями 7B, такими как DeepSeek-R1-Distill-7B, при выполнении ряда задач. Эта модель является улучшением нашей предыдущей модели OpenThinker-7B, которая была обучена на 114 тысячах примеров из OpenThoughts-114k. Цифры, указанные в таблице ниже, рассчитаны с помощью нашего инструмента с открытым исходным кодом Evalchemy. Набор данных OpenThoughts2-1M был создан путем дополнения OpenThoughts-114k существующими наборами данных, такими как OpenR1, а также дополнительными математическими данными и данными для анализа кода. Мы генерируем дополнительные математические и кодовые данные, удаляя более 26 различных методологий генерации вопросов и выбирая из них наиболее эффективные. Дополнительную информацию см. на странице набора данных OpenThoughts2-1M или в нашем блоге. Во время обучения использовались следующие гиперпараметры: — скорость обучения: 8e-05 — начальное число: 42 — распределенный тип: multi-GPU — число устройств: 256 — количество шагов градиента: 2 — общий размер пакета поездов: 512 — оптимизатор: использовать…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: open-thoughts
Теги: qwen2, llama-factory, full, generated_from_trainer, conversational, text-generation-inference, endpoints_compatible
Лайков: 19 | Загрузок: 3,448
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
