Модель создана путем анализа и выбора оптимальных слоев из других моделей Qwen2.5-7B на основе их размерной эффективности использования, измеряемой нормализованным эффективным рангом (NER). Вычисляется следующим образом: — Входные данные: матрица весов для каждого слоя модели — Вычисление сингулярных значений σᵢ, где σᵢ ≥ 0 # σᵢ представляет важность каждого измерения — Фильтрация значений выше числового порога (>1e-12) — Суммирование всех сингулярных значений: S = Σσᵢ # S действует как коэффициент нормализации — Создание распределения вероятностей: pᵢ = σᵢ/S # преобразует значения в вероятности, суммирующиеся до 1 — Вычисление Энтропия Шеннона: H = -Σ(pᵢ log₂(pᵢ)) # измеряет информационное содержание — Вычисляет максимально возможную энтропию: Hmax = log₂(n) — Итоговая оценка NER = H/H_max # нормализует оценку до диапазона [0,1] — Результаты получаются в диапазоне от 0 до 1 для каждого слоя модели. Код здесь: https://huggingface.co/jeffmeloy/Qwen2.5-7B-nerd-uncensored-v1.0/blob/main/ner_merge.py Функции кода: — Загрузите выбранные модели из Hugging Face Hub — Вычислите нормализованный эффективный рейтинг (NER) для каждого слоя в каждой модели — Определите пары имен модели и слоя, которые имеют самый высокий NER для каждого слоя на основе их оценок NER — Постепенно создайте составную модель, используя…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: jeffmeloy
Теги: qwen2, not-for-all-audiences, conversational, en, text-generation-inference, endpoints_compatible
Лайков: 4 | Загрузок: 20
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
