Контрольная точка абляции выпущена вместе с EMO: Предварительная подготовка экспертов для новой модульности, называемая EMO-отжигом в Приложении B.4 / Таблице 3 документа. Модель «Смесь экспертов» с 1B-активным параметром и общим количеством 14B (128 экспертов: 127 перенаправленных + 1 общий, k=8 активных на токен), предварительно обученная на 1T токенах из набора предварительной подготовки OLMoE со стандартной целью MoE, а затем отожженная для дополнительных 50B токенов в соответствии с ограничением экспертного пула на уровне документа EMO. Используется для проверки того, можно ли вызвать модульность после предварительного обучения, а не во время него. Эта модель распространяется по лицензии Apache 2.0. Он предназначен для исследовательского и образовательного использования в соответствии с Руководством по ответственному использованию Ai2. Документ: https://arxiv.org/abs/2605.06663. Код: https://github.com/allenai/EMO.
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: allenai
Теги: emo, moe, mixture-of-experts, modularity, ablation, midtraining, conversational, custom_code
Лайков: 5 | Загрузок: 226
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
