Многонаправленность в еретическом стиле (СВД-2 ранга) по каждому эксперту и по слоям прогнозируется отказ от уничтожения JetBrains/Mellum2-12B-A2.5B-Thinking`. Ориентирован на модель рассуждения (Mellum2-Thinking выдает цепочку мыслей перед каждым ответом) с МО из 64 экспертов (активные топ-8), шаблоном SWA 3:1 и несвязанным lmhead. Согласно выводам Qwen3-30B-A3B (то же самое семейство MoE), одной лишь анлитерации MoE downproj недостаточно — внимание oproj записывает сигнал отказа до того, как MoE его увидит. Согласно принципу Abliterix EGA на Gemma 4 26B-A4B (также top-k MoE), сигнал отказа распределяется по ВСЕМ экспертам — удаление только экспертов из топ-N оставляет отказы нетронутыми. Согласно Курате 2026** о моделях рассуждения, ЦТ сам по себе является каналом отказа, независимым от активации остаточного потока. Проход 1: EGA в еретическом стиле + послойная аблитерация опрой. 1. Вперед-пропустить 64 вредных + 64 безобидных указания; захватывать скрытые состояния последнего токена на каждом уровне декодера. 2. Послойная винсоризация каждого класса при q=0,995. 3. Для каждого слоя l вычислите SVD разностную матрицу для каждой подсказки и возьмите два верхних правых сингулярных вектора в качестве многомерного подпространства отказа. 4. Спроецируйте доминирующее направление…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: josephmayo
Теги: mellum, abliteration, refusal-removal, mellum2, jetbrains, moe, per-expert, per-layer
Лайков: 5 | Загрузок: 97
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
