Преобразование модели LiquidAI/LFM2.5-1.2B-Thinking с использованием метода смешанных экспертов (Mixture-of-Experts, MoE), полученное с помощью метода ToMoE (динамическая структурная обрезка гиперсети). Плотная модель рассуждений объемом 1,17 млрд элементов преобразуется в канальную модель MoE, где: — прямой канал / MLP (16 слоев): маршрутизация экспертов по каждому токену через 8 канальных экспертов (топ-1 с помощью Gumbel-softmax), FFN разрезается на объединение масок экспертных каналов. — Полное внимание (6 слоев): Q/K поддерживается на полную ширину; V-каналы динамически маскируются на маркер (детерминированные маски). — ShortConv** (10 слоев): статическое обрезание (одноканальный индекс, совместно используемый проекциями B/C/x, conv и выходной проекцией). The pruned budget is p = 0.05 with the ToMoE regularization (lam 64→128, Gumbel base annealed 1.0→−0.25, 8 experts), trained 2,400 steps at seq 2048 with online KD against the dense teacher on wikitext-103 (4M tokens, raw text). The attention QK is excluded from the budget (kept full) because the small head-dim (64) collapses under aggressive QK pruning. > Notes: > — LFM2.5-1.2B-Thinking is a reasoning (RL) model: its native output format includes a block before the answer. Unlike the 350M instruct model, its raw-text distribution is NOT…
Модальности:
Генерация текста
Области применения:
Логика и рассуждение Диалог / чат
Задача: Генерация текста
Автор: Nichonauta
Теги: lfm2, mixture-of-experts, tomoe, pruning, reasoning, conversational, custom_code, en
Лайков: 3 | Загрузок: 90
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
