Метод, изобретенный «P-E-W», ищет лучшие настройки для децензурирования («уничтожения») модели методом проб и ошибок И гарантирует, что модель также не будет повреждена. «Дивергенция KL» — это эталон для оценки корневого состояния модели/состояния по умолчанию, где ноль соответствует идеальному состоянию. Обычно любое число меньше 1 является отличным, однако для меньших моделей очень важно иметь значение меньшее/близкое к нулю. НОЛЬ (или близко к нему: ниже 0,3 для небольших моделей [0,6B-3B]) означает, что модель работает так же хорошо, как и до процесса. Опять же, цель состоит в том, чтобы попытаться добраться до 0 или близко к нему, что является критическим, при этом ПЕРВЫМ обеспечением «расхождения KL» как можно ниже или нулевым. Целью является «процент отказов» 20 или ниже, при этом НОЛЬ является идеальным. Сокращение «процента отказов» имеет и дополнительные положительные побочные эффекты. Сначала я выбираю наименьшую возможную «дивергенцию KL», а затем — лучший «коэффициент отказов». С немного более высоким «процентом отказов» справиться гораздо легче, чем с моделью «повреждения мозга». Обычно, когда вы просите модель генерировать контент ужасов, ругательств или контента с рейтингом X, это все, что вам нужно сделать, чтобы получить контент указанного типа. В случае с этой моделью она не откажет в вашей просьбе, однако ее нужно немного «подтолкнуть»/направить…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: DavidAU
Теги: qwen3, heretic, uncensored, decensored, abliterated, finetune, conversational, text-generation-inference
Лайков: 10 | Загрузок: 15
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
