StdMoE_1b14b_1T_Preanneal
Контрольная точка предварительного отжига стандартной базовой линии MoE, выпущенная вместе с EMO: Pretraining Mixture of Experts for Emergent...
Метка: baseline
StdMoE_1b4b_130B
Стандартный базовый уровень MoE, соответствующий памяти, выпущенный вместе с EMO: Pretraining Mixture of Experts for Emergent Modularity, называемый...