Название модели: sarvam-30b-uncensored Базовая модель: sarvamai/sarvam-30b Модификация: Аблитерация — устранение механизмов отказа и выравнивания Автор: aoxo Аблитерация следует строгому однонаправленному подходу: 1. Сбор активации. Проходы вперед (не генерация) выполнялись по сбалансированным наборам вредных и безвредных подсказок. Активации собирались в позициях токенов после инструкций — на границе — во всех 19 слоях модели. Это точка принятия решения, в которой кодируется направление отказа. 2. Выбор направления. Направление отказа кандидата рассчитывалось для каждой пары (слой, положение) следующим образом: Кандидаты оценивались с использованием d-разделения Коэна. Было выбрано одно лучшее направление из одной пары (уровень, положение), что соответствует выводу статьи о том, что отказ опосредован одним направлением, а не направлениями для каждого слоя. 3. Весовая хирургия. Единственное направление отказа было спроецировано из каждой весовой матрицы на все 19 слоев в масштабе 1.0. Если вы используете эту модель, укажите базовую модель и статью об удалении: Для вопросов, отзывов или сотрудничества: aloshdenny@gmail.com
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: aoxo
Теги: sarvam_moe, abliteration, uncensored, moe, indic, conversational, custom_code, en
Лайков: 9 | Загрузок: 147
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
