🤗 Обнимающее лицо   |    📑 Ссылка на бумагу    |    📑 Блог    |    📑 Github    Следование инструкциям — основная возможность больших языковых моделей (LLM), но производительность остается нестабильной, особенно при выполнении сложных задач. Мы считаем, что ленивое рассуждение на этапе мышления является основной причиной плохого соблюдения инструкций. Чтобы решить эту проблему, мы предлагаем структуру, которая способствует строгому рассуждению посредством предварительного просмотра и самоконтроля. Наш метод начинается с генерации данных инструкций со сложными ограничениями, отфильтровывая слишком простые или слишком сложные образцы. Затем мы используем браковочную выборку, чтобы создать небольшой, но высококачественный набор данных для адаптации модели. Обучение включает контролируемую точную настройку с сохранением энтропии (Entropy-SFT) и обучение с энтропийно-адаптивным подкреплением с использованием токенов (TEA-RL), управляемое многомерными вознаграждениями на основе правил. Этот подход побуждает модели заранее планировать и проверять свои результаты, способствуя более обобщающим способностям к рассуждению. Эксперименты показывают устойчивые улучшения в зависимости от размера модели. Примечательно, что наша модель 32B превосходит как более крупные модели с открытым исходным кодом, такие как DeepSeek-R1, так и модели с закрытым исходным кодом, такие как ChatGPT-4o, на…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: qihoo360
Теги: qwen3, conversational, text-generation-inference, endpoints_compatible
Лайков: 6 | Загрузок: 25
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
