Это аблитерированная сборка Mia-AiLab/Qwen3.8-27B-EXL3-3.5bpw, выполненная с еретиком, работающим непосредственно на квантованной модели EXL3. Вес EXL3 3.5bpw идентичен оригиналу. Ничего не было рекантировано или объединено. Аблитерация хранится в виде небольшого файла коляски (abliteration.safetensors, 2,9 МБ). Во время вывода он применяется точно к выходам немодифицированных квантованных проекций. Еретик стирает каждую выходную проекцию W, которая записывается в остаточный поток: attention oproj, Gated DeltaNet outproj и MLP downproj. При нормирующей нормировке строк (rownormalization = «full») модифицированная проекция равна — Wn равно W с каждой нормированной на единицу длины строкой. — n соответствует исходным нормам строк W. — m соответствует нормам строк (I − λ v v) Wn. Вся модификация зависит только от выхода проекции y = W x: a, b и s предварительно вычисляются на проекцию из декантированных весов EXL3 и хранятся в abliteration.safetensors под ключами .ablattn.{a,b,s} и .ablmlp.{a,b,s}. Применение их к выходу исходного квантованного матмула точно воспроизводит аблитерированную проекцию. Собственный экспорт Еретика приближается к тому же изменению с низким рейтингом SVD перед…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: andrevp
Теги: exllamav3, qwen3_5, exl3, heretic, abliterated, uncensored, decensored, conversational
Лайков: 3 | Загрузок: 368
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.