Эта страница представляет собой указатель контрольных точек моделей, выпущенных вместе с EMO: Pretraining Mixture of Experts for Emergent Modularity. В репозитории allenai/EMO не хранятся веса моделей — выберите нужную контрольную точку из таблицы ниже. Они имеют общую архитектуру и данные с моделями EMO, указанными выше; различаются только цели обучения (нет ограничений на пул экспертов на уровне документа). Меньшие модели, обученные с нуля при фиксированном бюджете памяти, используются в качестве точек сравнения для экспертных подмножеств EMO. Проверяет, можно ли вызвать модульность после предварительного обучения путем отжига стандартного MoE в рамках цели EMO. Для всех контрольных точек требуется параметр Trustremotecode=True, поскольку они используют собственный код моделирования из ветки ryanyxw/transformers. Замените modelid` нужной контрольной точкой из таблицы выше. — Документ: https://arxiv.org/abs/2605.06663 — Код: https://github.com/allenai/EMO — Визуализация: https://emovisualization.netlify.app
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: allenai
Теги: emo, moe, mixture-of-experts, modularity, index, conversational, custom_code, en
Лайков: 5 | Загрузок: 118
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
