> Неограниченная версия Qwen/Qwen3.5-35B-A3B, созданная с помощью Abliterix — автоматическая аблитерация LLM посредством ортогонального управления и байесовской оптимизации. Исключительно низкое расхождение KL — 0,0035 — самое близкое к поведению исходной модели во всей линейке, отказов всего 1,5%. Abliterix устраняет поведение отказа от безопасности, сохраняя при этом возможности модели: 1. Извлечение направления отказа — 800 вредных + 800 доброкачественных подсказок выявляют шаблоны активации отказа на каждом уровне. 2. Ортогональная проекция — изолирует сигнал отказа, проецируя компоненты, соответствующие нормальным реакциям, уменьшая отказы на 67% по сравнению с необработанным удалением. 3. Удаление на основе LoRA — модификации внимания и весов MLP первого ранга, фиксируемые как облегченные. адаптеры (не деструктивные правки) 4. Байесовская оптимизация — Optuna TPE ищет форму ядра, дробный индекс направления и прочность каждого компонента в 50 испытаниях, чтобы найти оптимальный по Парето баланс низкого количества отказов и низкого расхождения KL — Abliterix (фреймворк удаления): github.com/wuwangzhang1216/abliterix — Установка: pip install -U abliterix-llm — Базовая модель: Квен/Квен3.5-35B-A3B
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: wangzhang
Теги: qwen3_5_moe_text, abliterix, uncensored, decensored, abliterated, conversational
Лайков: 5 | Загрузок: 1
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
