Это модель смешанных экспертов (MoE), которая вдвое меньше (4 эксперта вместо 8), чем Mixtral-8x7B, но при этом сопоставима с ней в различных тестах. Вы можете использовать его в качестве замены Mixtral-8x7B и получать гораздо более быстрые выводы. mera-mix-4x7B получил оценку 75,91 на OpenLLM Eval и хорошо сравнивается с 72,7 у Mixtral-8x7B и 74,46 у Mixtral-8x22B. В дополнение к официальной таблице лидеров Open LLM, результаты OpenLLM Eval были подтверждены и другими (76,59).
Модальности:
Генерация текста
Задача: Генерация текста
Автор: meraGPT
Теги: mixtral, model-index, text-generation-inference, endpoints_compatible
Лайков: 19 | Загрузок: 7,999
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
