Обзор Forsaken-Void-12B объединяет Scarlet-Ink-12B, Shadow-Crystal-12B и Chrysologus-12B с помощью метода flowkarcher_consensus. Концепция Метод слияния, основанный на консенсусе и учитывающий геометрию, который сочетает в себе строгость среднего Керхера с адаптивным потоком в касательном пространстве, улавливающим уникальные особенности каждой модели. Он согласовывает формы тензоров, вычисляет сферический консенсусный якорь, извлекает различные касательные направления (значимые отклонения) и уточняет результат с помощью итеративных обновлений Керхера для единичной сферы. Результат является одновременно стабильным (среднее геометрическое поведение) и выразительным (сохраняет стилистическое/поведенческое разнообразие). Варианты использования Объединение нескольких больших моделей, незначительно отличающихся по форме или масштабу тензора. Поиск согласованной «центральной» модели среди различных доноров, сохраняя при этом интересные вариации. Уточнение шумных или противоречивых слияний путем их проецирования на устойчивое геометрическое многообразие. Создание слияний, которые являются более плавными и последовательными, чем стандартные направленные смеси (простые линейные/стили SLERP), но более динамичными и отличительными, чем строгие средние значения Керхера. Ключевые параметры tol (глобальные) — Допуск сходимости для уточнения Керхера. По умолчанию 1e-5. maxiter (глобальный) — Количество Керхеров…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: Vortex5
Теги: mistral, mergekit, merge, roleplay, text-generation-inference, endpoints_compatible
Лайков: 6 | Загрузок: 5
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
