PowerMoE-3B — это 3B языковая модель с разреженной смесью экспертов (sMoE), обученная с помощью планировщика скорости обучения Power. Он редко активирует 800 миллионов параметров для каждого токена. Он обучен на сочетании наборов данных с открытым исходным кодом и собственных наборов данных. PowerMoE-3B показал многообещающие результаты по сравнению с другими плотными моделями с 2-кратными параметрами активации в различных тестах, включая множественный выбор естественного языка, генерацию кода и математические рассуждения. Статья: https://arxiv.org/abs/2408.13359.
Модальности:
Генерация текста
Задача: Генерация текста
Автор: ibm-research
Теги: granitemoe, model-index
Лайков: 19 | Загрузок: 889,203
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
