Я хотел бы представить GemMoE, новый метод Mixture of Experts (MoE), который использует специальную реализацию метода MoE Branch Train Mix MoE компании Meta. Этот подход, подробно описанный в исследовательской статье «Сочетание поездов филиалов: новая процедура обучения смешанного состава экспертов», позволил мне создать эффективную модель, которая преодолевает ограничения предыдущих моделей GemMoE. GemMoE — это модель MoE размером 4×8,5b, состоящая из 4 экспертов, которые прошли обучение отдельно, а затем объединились с помощью специальной вилки аксолотля. Этот форк позволил мне заморозить всех экспертов и сосредоточиться на обучении механизма маршрутизатора. Маршрутизатор был обучен на 4 эпохах моего набора данных Self-Discover-MM и 2 эпохах TruthyDPO от Джона Дурбина. Одним из основных отличий GemMoE от предыдущих версий является использование маршрутизации токенизации вместо семантической маршрутизации. Этот подход, аналогичный тому, который используется в mixtral, приводит к улучшению использования видеопамяти и конкурентной производительности для своего размера. Метод Branch Train Mix предлагает несколько потенциальных преимуществ по сравнению с традиционными подходами к обучению MoE: 1. Улучшенная стабильность и сходимость обучения. 2. Снижение вычислительных затрат и использования памяти. 3. Повышение производительности и обобщения модели.
Модальности:
Генерация текста
Задача: Генерация текста
Автор: Crystalcareai
Теги: gemmoe, custom_code
Лайков: 19 | Загрузок: 7
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
