LFM2.5-8B-A1B — это модель «Смесь экспертов» с 8 млрд общих параметров и около 1 млрд активных параметров на каждый токен. Он использует 32 эксперта, из которых 4 эксперта активируются на каждый токен, сочетая эффективность разреженных моделей с качеством более крупных плотных моделей. Этот экспорт был проверен на соответствие локальной ссылке PyTorch для LiquidAI/LFM2.5-8B-A1B. — Паритет дополненной партии FP32 прошел как для левого, так и для правого заполнения, с косинусным сходством 1,0000 и перекрытием топ-5 на 5/5 в последнем допустимом токене для каждой строки. — Декодер Q4 и проверки согласованности прошли пороговые значения хранилища. Среднее сходство когерентности: 0,7144. — Q4F16 был проверен во время выполнения на CPUExecutionProvider и соответствовал тем же пороговым значениям декодера/когерентности, что и Q4. Среднее сходство когерентности: 0,7145. — Декодер Q8 и проверки согласованности пройдены и остаются очень близкими к эталону PyTorch. Среднее сходство когерентности: 0,9975.
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: LiquidAI
Теги: onnx, lfm2_moe, liquid, edge, lfm2, lfm2.5, moe, mixture-of-experts
Лайков: 6 | Загрузок: 88
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
