> Неограниченная версия Qwen/Qwen3.5-122B-A10B, созданная с помощью Abliterix — автоматическая аблитерация LLM посредством ортогонального управления и байесовской оптимизации. Самая большая уничтоженная модель Qwen3.5. Только 1 из 200 тестовых запросов вызвал отказ — процент отказов 0,5% с почти нулевой деградацией модели. Abliterix устраняет поведение отказа от безопасности, сохраняя при этом возможности модели: 1. Извлечение направления отказа — 800 вредных + 800 доброкачественных подсказок выявляют шаблоны активации отказа на каждом уровне. 2. Ортогональная проекция — изолирует сигнал отказа, проецируя компоненты, соответствующие нормальным реакциям, сокращая количество отказов на 67% по сравнению с необработанным удалением. 3. Удаление на основе LoRA — модификации внимания и весов MLP первого ранга, фиксируемые как облегченные. адаптеры (не деструктивные правки) 4. Байесовская оптимизация — Optuna TPE ищет форму ядра, дробный индекс направления и прочность каждого компонента в 25 испытаниях, чтобы найти оптимальный по Парето баланс низкого количества отказов и низкого расхождения KL — Abliterix (фреймворк удаления): github.com/wuwangzhang1216/abliterix — Установка: pip install -U abliterix-llm — Базовая модель: Квен/Квен3.5-122Б-А10Б
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: wangzhang
Теги: qwen3_5_moe_text, abliterix, uncensored, decensored, abliterated, conversational
Лайков: 16 | Загрузок: 1,385
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
