🔗 Github | 📄 Технический отчет | 💻 Демо | 💬 Официальный WeChat Megrez2-3x7B-A3B — это модель устройства с поддержкой большого языка. Megrez2 использует преимущества как точности архитектуры Mixture-of-Experts (MoE), так и компактного размера моделей Dense. Эта модель выпуска была обучена на токенах данных 8T. В будущем мы планируем улучшить рассуждения модели и возможности агента. Мы оценили Megrez2-3x7B-A3B с помощью инструмента оценки с открытым исходным кодом OpenCompass по нескольким важным критериям. Некоторые результаты оценки показаны в таблице ниже. Метрика производительности Megrez2-3x7B-A3B Megrez2-3x7B-A3B-Preview SmallThinker-21B-A3B-Instruct Qwen3-30B-A3B Qwen3-8B Qwen3-4B-Instruct-2507 Phi4-14B(nothink) Gemma3-12B Activate Params (B) 3.0 3.0 3,0 3,3 8,2 4,0 14,7 12,2 Сохраненные параметры (B) 7,5 7,5 21,5 30,5 8,2 4,0 14,7 12,2 MMLU EM 85,4 87,5 84,4 85,1 81,8 — 84,6 78,5 GPQA EM 58,8 28,8 55,0 44,4 38,9 62 55,5 34,9 IFEval Instloose 87,7 80,2 85,8 84,3 83,9 83,4 63,2 74,7 MATH-500 EM 87,2 81,6 82,4 84,4 81,6 — 80.2 82.4 Рекомендуется последняя версия трансформеров или требуются трансформеры>=4.52.4. Ниже приведен код…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: Infinigence
Теги: megrez_moe, moe, conversational, custom_code, en, zh
Лайков: 18 | Загрузок: 27
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
