andrevp/Qwen3.8-27B-EXL3-3.5bpw-heretic - Каталог нейросетей
Генерация текста

andrevp/Qwen3.8-27B-EXL3-3.5bpw-heretic

Добавлено:
andrevp/Qwen3.8-27B-EXL3-3.5bpw-heretic

Это аблитерированная сборка Mia-AiLab/Qwen3.8-27B-EXL3-3.5bpw, выполненная с еретиком, работающим непосредственно на квантованной модели EXL3. Вес EXL3 3.5bpw идентичен оригиналу. Ничего не было рекантировано или объединено. Аблитерация хранится в виде небольшого файла коляски (abliteration.safetensors, 2,9 МБ). Во время вывода он применяется точно к выходам немодифицированных квантованных проекций. Еретик стирает каждую выходную проекцию W, которая записывается в остаточный поток: attention oproj, Gated DeltaNet outproj и MLP downproj. При нормирующей нормировке строк (rownormalization = «full») модифицированная проекция равна — Wn равно W с каждой нормированной на единицу длины строкой. — n соответствует исходным нормам строк W. — m соответствует нормам строк (I − λ v v) Wn. Вся модификация зависит только от выхода проекции y = W x: a, b и s предварительно вычисляются на проекцию из декантированных весов EXL3 и хранятся в abliteration.safetensors под ключами .ablattn.{a,b,s} и .ablmlp.{a,b,s}. Применение их к выходу исходного квантованного матмула точно воспроизводит аблитерированную проекцию. Собственный экспорт Еретика приближается к тому же изменению с низким рейтингом SVD перед…

Модальности:
Генерация текста

Области применения:
Диалог / чат


Задача: Генерация текста
Автор: andrevp
Теги: exllamav3, qwen3_5, exl3, heretic, abliterated, uncensored, decensored, conversational
Лайков: 3  |  Загрузок: 368

Открыть на HuggingFace →

Описание основано на материалах HuggingFace. Перевод выполнен автоматически.