> Официально выпущена объединенная модель 5-го поколения YOYO-AI и совершенно новый алгоритм слияния «yoyofusion»!* Учитывая K≥2 весовых тензоров из моделей с идентичной архитектурой: $$ {T^{(1)}, T^{(2)}, dots, T^{(K)}}, quad T^{(k)} in mathbb{R}^{d1 times cdots times dn}, $$ $$ mathbf{m} = argmin{mathbf{y}} sum{i=1}^K | mathbf{u}i — mathbf{y} |2 $$ $$ mj = text{median}(u{1,j}, u{2,j}, dots, u{K,j}), quad forall j=1,dots,D $$ Если $$ maxk |R{k,:}|2 < 10^{-7}, $$, то установите $$ mathbf{y}' = mathbf{m} $$ и перейдите к шагу 8. В противном случае продолжайте.* Полная энергия: $$ E{text{total}} = sum{i=1}^{operatorname{rank}} sigmai^2 $$ Остаточная энергия: $$ E{text{retained}} = sum{i=1}^{r'} sigmai^2 $$ Коэффициент энергии: $$ p = frac{E{text{retained}}}{E{text{total}} + varepsilon} $$ Коэффициент масштабирования (ограничен для стабильности): $$ lambda = minleft( frac{1}{p + varepsilon}, 10.0 right) $$ Вычисление среднего среднеквадратического значения для всех входов: $$ bar{r} = frac{1}{K} sum{k=1}^K rk $$ Масштабирование назад: $$ y = y' cdot bar{r} $$ Вычисление средней нормы L2 исходных сплющенных тензоров: $$ bar{n} = frac{1}{K} sum{k=1}^K |x^{(k)}|2 $$ Вычисление текущей нормы: $$ ny = |y|2 $$ Окончательное масштабирование…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: YOYO-AI
Теги: qwen3_moe, merge, conversational, en, zh
Лайков: 13 | Загрузок: 49
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
