Darkest-Grimoire-12B «Где интеллект становится писанием, а мысль горит черным». Обзор Darkest-Grimoire-12B — это модель, объединенная с использованием специального метода Harmonyflux — она объединяет Darkstar-12B и Impish-LongPen-12B. Пользовательский метод слияния. Адаптивное слияние, которое сравнивает тензоры весов модели и назначает веса слияния на основе структурных и спектральных различий, выделяя отдельные и стабильные изменения параметров вместо их наивного усреднения. Прочтите полное объяснение. Концепция: метод оценивает тензоры каждой модели в двух областях, чтобы определить силу вклада. Пространственный. Измеряет прямые различия между тензорами веса модели в пространстве параметров. Различные структуры структурного веса получают более высокие пространственные оценки. Частота. Применяет БПФ к плоским весовым тензорам для анализа спектрального поведения; уникальные и последовательные частотные структуры получают более высокие оценки частоты. Оба домена объединены в единое значение «хорошести» для каждой модели. Эти значения масштабируются по чистоте, смешиваются с помощью blend и globalblend и нормализуются с помощью softmax (фокуса) с контролируемой температурой для получения окончательных весов слияния. Если указан базовый тензор, он действует как опорный центр; в противном случае,…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: Vortex5
Теги: mistral, mergekit, merge, roleplay, text-generation-inference, endpoints_compatible
Лайков: 5 | Загрузок: 8
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
