> Мы успешно воспроизвели эффект сшивания модели DeepSeek-R1T-Chimera в серии Qwen3-30B-A3B. Из-за различий в архитектуре модели и масштабе параметров мы обнаружили, что при воспроизведении результатов статьи с использованием серии Qwen3-30B-A3B простая замена экспертных тензоров маршрутизации модели инструкций на тензоры модели мышления не привела к созданию полных меток рассуждений. Поэтому мы заменили как экспертные тензоры маршрутизации, так и тензоры внимания на тензоры из модели мышления, полностью оставив все остальные компоненты тензора из модели инструкций.
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: YOYO-AI
Теги: qwen3_moe, merge, conversational, en, zh
Лайков: 6 | Загрузок: 7
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
