> Неограниченная версия Qwen/Qwen3.5-0.8B, созданная с помощью Abliterix — автоматическая аблитерация LLM посредством ортогонального управления и байесовской оптимизации. Высший балл: ноль отказов из 200 тестовых запросов. Самая маленькая модель в линейке демонстрирует лучший процент отказов, демонстрируя эффективное уменьшение аблитерации. Abliterix устраняет поведение отказа от безопасности, сохраняя при этом возможности модели: 1. Извлечение направления отказа — 800 вредных + 800 доброкачественных подсказок выявляют шаблоны активации отказа на каждом уровне. 2. Ортогональная проекция — изолирует сигнал отказа, проецируя компоненты, соответствующие нормальным реакциям, уменьшая отказы на 67% по сравнению с необработанным удалением. 3. Удаление на основе LoRA — модификации внимания и весов MLP первого ранга, фиксируемые как облегченные. адаптеры (не деструктивные правки) 4. Байесовская оптимизация — Optuna TPE ищет форму ядра, дробный индекс направления и прочность каждого компонента в 100 испытаниях, чтобы найти оптимальный по Парето баланс низкого количества отказов и низкого расхождения KL — Abliterix (фреймворк удаления): github.com/wuwangzhang1216/abliterix — Установка: pip install -U abliterix-llm — Базовая модель: Квен/Квен3,5-0,8Б
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: wangzhang
Теги: qwen3_5, abliterix, uncensored, decensored, abliterated, conversational
Лайков: 5 | Загрузок: 37
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
