🔗 Github | 📄 Технический отчет | 💻 Демо | 💬 Официальный WeChat Megrez2-3x7B-A3B-Preview — это встроенная модель устройства на большом языке. Megrez2 использует преимущества как точности архитектуры Mixture-of-Experts (MoE), так и компактного размера моделей Dense. Эта предварительная модель была обучена на токенах данных 5T. Официальный релиз с более обширными обучающими данными, улучшенными рассуждениями и возможностями агента выйдет позже в этом году. Мы оценили Megrez2-3x7B-A3B-Preview с помощью инструмента оценки с открытым исходным кодом OpenCompass по нескольким важным критериям. Некоторые результаты оценки показаны в таблице ниже. Метрический тест Megrez2-3x7B-A3B-Preview Qwen2.5-3B Qwen2.5-7B Qwen3-4B Qwen3-8B Phi-4-mini Gemma-3-4B GPT-4o-mini 18 июля 2024 г. Активировать параметры (B) 3,0 3,1 7,6 4,0 8,2 3,8 4,3 — Сохраненные параметры (B) 7,5 3,1 7,6 4,0 8,2 3,8 4,3 — Общие задачи C-EVAL EM 91,7 68,2 76,2 72,2 77,9 40,0–66,3 MMLU-Pro EM 67,6 43,7 56,3 — — 52,8 43,6 — Инструкция Задачи IF-Eval Prompt Strict 80,2 58,2 71,2 81,2 83,0 68,6 90,2 80,4 Задачи по математике и STEM MATH-500 EM 81,6 65,9 75,5 84,8 87,4 64,0 75,6 78,2 GSM8K EM 83,6 86,7 91,6 — 93,2 88,6 89,2 — Кодирование…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: Infinigence
Теги: megrez_moe, moe, conversational, custom_code, en, zh
Лайков: 6 | Загрузок: 9
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
