QwenLong-L1.5: Посттренировочный рецепт долгоконтекстного мышления и управления памятью Вэйчжоу Шэнь, Цзыи Ян, Чэньлян Ли, Чжиюань Лу, Мяо Пэн, Хуашань Сунь, Инчэн Ши, Шэнъи Ляо, Шаопэн Лай, Бо Чжан, Дайихэн Лю, Фэй Хуан, Цзинжэнь Чжоу, Мин Янь†**_ Длинный контекст рассуждение является важнейшей способностью современных моделей большого языка (LLM), однако на этапе после обучения существует значительный пробел. В этой области отсутствует зрелая комплексная система, которая обеспечивает: (1) масштабируемый конвейер для синтеза сложных данных для рассуждений с длинным контекстом, (2) методы обучения с подкреплением (RL), адаптированные к нюансам рассуждений с длинным контекстом, и (3) архитектуры агентов, предназначенные для работы с информационными потоками, которые превышают контекстную емкость модели. В этой работе мы представляем QwenLong-L1.5, модель долгоконтекстного мышления, основанную на Qwen3-30B-A3B-Thinking, дополненную механизмами памяти для обработки задач, выходящих далеко за пределы ее физического контекстного окна. Наш основной вклад — это полный рецепт после обучения, который объединяет синтез данных, методологии обучения и архитектуры агентов. Во-первых, чтобы решить проблему нехватки высококачественных данных, мы разработали новый конвейер синтеза, который выходит за рамки…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: Tongyi-Zhiwen
Теги: qwen3_moe, conversational, endpoints_compatible
Лайков: 164 | Загрузок: 430
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
