Базовая модель Qwen2.5-Math-7B, используемая ЛУФФИ, описана в разделе «Обучение рассуждению под руководством вне политики». Меняем наroptheta с 10000 на 40000 и расширяем контекстное окно до 16k. Также мы изменяем шаблон чата для системного приглашения и добавляем . Если вы найдете нашу модель, данные или оценочный код полезными, пожалуйста, процитируйте нашу статью:
Модальности:
Генерация текста
Области применения:
Диалог / чат Математика
Задача: Генерация текста
Автор: Elliott
Теги: qwen2, conversational, text-generation-inference, endpoints_compatible
Лайков: 6 | Загрузок: 272
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
