Та же методология, что и в эксперименте Каломазе 16B: https://huggingface.co/kalomaze/Qwen3-16B-A3B/ – измерьте вероятность того, что какой-либо эксперт активируется (по личному набору довольно разнообразных калибровочных данных), для каждого слоя – удалите некоторых из наименее используемых экспертов на каждый уровень (с переупорядоченным маршрутизатором и индексацией для каждого слоя). В настоящее время он непригоден для использования, но я работаю над его обучением на небольшом SFT данных Клода. Поручите данным «исцелить» это, скажем так. https://wandb.ai/new-eden/Prune-Experiments/runs/45utvk5c?nw=nwuserdeltavector
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: Delta-Vector
Теги: qwen3_moe, prune, conversational, endpoints_compatible
Лайков: 5 | Загрузок: 15
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
