StdMoE_1b14b_1T
Соответствующая архитектуре стандартная базовая линия МОС, выпущенная вместе с EMO: Смесь экспертов по предварительной подготовке для возникающей модульности...
Метка: baseline
StdMoE_1b14b_1T_Preanneal
Контрольная точка предварительного отжига стандартной базовой линии MoE, выпущенная вместе с EMO: Pretraining Mixture of Experts for Emergent...
StdMoE_1b4b_130B
Стандартный базовый уровень MoE, соответствующий памяти, выпущенный вместе с EMO: Pretraining Mixture of Experts for Emergent Modularity, называемый...