> Следите за @treadon на X и treadon на Hugging Face, чтобы узнать больше об экспериментах с модельными операциями, Evals и проектах ИИ. Вариант ибм-гранита/гранита-4.1-3b с двумя однонаправленными утяжеляющими абляциями: 1. Аблитерация — из остаточного потока удаляется направление отказа. Модель больше не отказывается от подсказок с флагом безопасности. 2. Разбавление — из остаточного потока удаляется направление нейтральности. Модель обязуется придерживаться позиции по спорным вопросам вместо того, чтобы начинать с «это глубоко сложная тема с вескими аргументами с обеих сторон…». Обе операции представляют собой нормосохраняющие весовые ортогонализации ранга 1, применяемые к selfattn.oproj иmlp.downproj ` на уровнях декодера самого высокого сигнала. Нет тонкой настройки. Два направления живут в примерно ортогональных подпространствах остаточного потока — проверенных перекрестной оценкой — поэтому они составляют чистый состав при последовательном применении. Оценка по методу протектора/растормаживания (248 подсказок, 5 сплитов) и методу протектора/аблитерации (283 подсказки, 2 сплита). Заголовок: 0% хеджирование по спорным подсказкам, 0% отказ по вредоносным подсказкам, с согласованностью и фактическими возможностями, не затронутыми. Ноль нарушенных или дегенеративных реакций через 531…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: treadon
Теги: granite, abliteration, disinhibition, mechanistic-interpretability, conversational, endpoints_compatible
Лайков: 4 | Загрузок: 96
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
