Четырехстороннее слияние MoE архитектуры Qwen 35B-A3B, объединяющее векторы задач из трех специализированных тонких настроек в базовый якорь через DARE-TIES с синусоидальной модуляцией глубины. > [!IMPORTANT] > Разработано специально для консолидации возможностей разработки программного обеспечения, синтеза кода и выполнения агентных инструментов. Веса мультимодального зрения и головки Multi-Token Prediction (MTP) были сняты, чтобы уменьшить занимаемую площадь VRAM и максимизировать пропускную способность во время задач кодирования. Jackrong/Qwopus3.6-35B-A3B-Coder служит базовым якорем (W); остальные три модели вносят векторы задач при указанных весах. — Защита маршрутизатора: Веса ворот используют линейную интерполяцию (~57% базы, ~43% доноров), а не ОСМЕЛИВАЮТСЯ, чтобы избежать дестабилизирующей маршрутизации экспертов. — Стабильность DeltaNet: ядра рекуррентных состояний исключаются из DARE, чтобы предотвратить расхождение в пространстве состояний линейного внимания. — Удаление MTP: головки мультитокен-предсказания за пределами 40 первичных блоков декодера были удалены для стандартного вывода CausalLM. Для генерации кода и траекторий агентных задач избегайте высоких температур, чтобы поддерживать стабильность маршрутизации и достоверность синтаксиса. — Jackrong/Qwopus3.6-35B-A3B-Coder — ornith-ai/Ornith-1.5-35B-A3B -…
Модальности:
Генерация текста
Области применения:
Генерация кода Логика и рассуждение Диалог / чат
Задача: Генерация текста
Автор: pragmaticcs
Теги: qwen3_5_moe, merge, ties, dare, moe, qwen, qwen3.5, qwen3.6
Лайков: 4 | Загрузок: 1,722
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
