LFM2-MoE — это модель «Смесь экспертов» с 24 миллиардами общих параметров и ~ 2 миллиардами активных параметров на каждый токен. Он использует 64 эксперта, из которых 4 эксперта активируются на каждый токен, сочетая эффективность разреженных моделей с качеством более крупных и плотных моделей. — Всего параметров: 24B — Активные параметры: ~2B на токен — Эксперты: всего 64, 4 активных на токен — Скрытый размер: 2048 — Слои: 40 (гибридная конверсия + внимание) — Длина контекста: 128 тыс. токенов
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: LiquidAI
Теги: onnx, lfm2_moe, liquid, edge, lfm2, moe, mixture-of-experts, onnxruntime
Лайков: 8 | Загрузок: 61
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
