LFM2-MoE — это модель «Смесь экспертов» с общим количеством параметров 8 млрд и активными параметрами ~ 1 млрд на каждый токен. Он использует 32 эксперта, из которых 4 эксперта активируются на каждый токен, сочетая эффективность разреженных моделей с качеством более крупных и плотных моделей.
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: LiquidAI
Теги: onnx, lfm2_moe, liquid, edge, lfm2, moe, mixture-of-experts, onnxruntime
Лайков: 5 | Загрузок: 137
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
