Это целенаправленное уничтожение KaraKaraWitch/GoldDiamondGold-L33-70b. Предыдущие попытки удаления этой модели привели к регрессу в таблице лидеров UGI. В частности, оценки NatInt (Естественный интеллект), Учебник и Модель мира были значительно снижены. Мы подозреваем, что такая деградация происходит потому, что векторы «отказа» в Llama-3.3 сильно переплетены с фактическими знаниями и способностями рассуждения, расположенными на уровнях MLP. Когда МЛП удаляется для устранения отказов, знания «Учебника» теряются как побочный ущерб. В этой версии («Paperbliteration») используется стратегия ограниченной оптимизации с помощью Custom Heretic, направленная на смягчение этой проблемы: 1. Сохранение MLP: оптимизация была ограничена таким образом, чтобы эффективно игнорировать слои MLP (веса понижающего проекта < 0,05) для сохранения знаний и возможностей рассуждения. 2. Нацеливание на внимание: удаление отказов было перенесено на уровни внимания (oproj), с весами от 1,0 до 2,0. 3. Винсоризация: применяется в квантиле 0,95 для смягчения влияния массивных выбросов активации Ламы-3 на векторные вычисления. В настоящее время ограничения не являются частью стандартного еретика. Вам понадобится этот пиар здесь. КЛ…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: KaraKaraWitch
Теги: llama, heretic, uncensored, abliterated, llama-3, conversational, text-generation-inference, endpoints_compatible
Лайков: 15 | Загрузок: 132
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
