OpenR1-Distill-7B — это постобученная версия Qwen/Qwen2.5-Math-7B на Mixture-of-Thoughts: тщательно подобранный набор данных из 350 000 проверенных трассировок рассуждений, извлеченных из DeepSeek-R1. Набор данных охватывает задачи по математике, программированию и естественным наукам и предназначен для того, чтобы шаг за шагом научить языковые модели рассуждать. OpenR1-Distill-7B повторяет возможности рассуждения deepseek-ai/DeepSeek-R1-Distill-Qwen-7B, оставаясь при этом полностью открытым и воспроизводимым. Он идеально подходит для исследований в области вычислений во время вывода и обучения с подкреплением с проверяемым вознаграждением (RLVR). — Тип модели: модель, подобная GPT, с параметрами 7B, предварительно обученная на общедоступных синтетических наборах данных. — Язык(и) (NLP): преимущественно английский. — Лицензия: Apache 2.0. — Точная настройка на основе модели: вариант Qwen/Qwen2.5-Math-7B, базовая частота RoPE которого была расширена до 300 тыс., чтобы обеспечить возможность обучения в контексте 32 тыс. токенов. — Репозиторий: https://github.com/huggingface/open-r1 — Журналы обучения: https://wandb.ai/huggingface/open-r1/runs/199cum6l — Журналы оценки: https://huggingface.co/datasets/open-r1/details-open-r1_OpenR1-Distill-7B Мы используем Lighteval для оценки моделей по следующим критериям: Все оценки обозначают точность pass@1 и использование…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: open-r1
Теги: qwen2, conversational, en, text-generation-inference, endpoints_compatible
Лайков: 22 | Загрузок: 73
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
