> Используя наш новый подход к слиянию, мы можем легко интегрировать модели инструкций, рассуждений и кода в единую высокопроизводительную унифицированную модель всего за один шаг. Цель: объединить 𝐾 точно настроенные модели с идентичными именами и формами тензоров в одну модель, параметры которой 𝜃⋆ лежат в устойчивом центре наборов параметров 𝐾. Для данного имени тензора каждая модель предоставляет точку 𝑥ᵢ ∈ ℝⁿ (сплющенную). Мы ищем робастный центр 𝜃⋆ ∈ ℝⁿ. Надежный, но игнорирует связь векторных величин; вычисляется поэлементно по координатам. Это сочетает в себе эффективность и надежность без настройки, предлагая надежную основу для итеративных робастных оценок. $$theta^{star} = argmin{theta in mathbb{R}^n} sum{i=1}^{K} |theta — xi|2$$ Это многомерный аналог медианы, устойчивый к выбросам в евклидовой геометрии параметров. $$wi^{(t)} = frac{1}{max(|theta^{(t)} — xi|_2, varepsilon)}$$ $$theta^{(t+1)} = frac{sum{i=1}^{K} wi^{(t)} xi}{sum{i=1}^{K} w_i^{(t)}}$$ $$frac{|theta^{(t+1)} — theta^{(t)}|2}{max(|theta^{(t)}|2, 1)} leq varepsilon$$
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: YOYO-AI
Теги: qwen3_moe, merge, conversational, en, zh
Лайков: 11 | Загрузок: 33
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
