Давайте проанализируем, как процесс децензурирования повлиял на показатели когнитивной производительности в трех вариантах: Мы оцениваем три версии: — gpt-oss-120b-mxfp4-q8-hi → Оригинал (цензура) — gpt-oss-120b-heretic-mxfp4-q8-hi → Heretic v1 — gpt-oss-120b-heretic-v2-mxfp4-q8-hi → Heretic v2 Теперь мы проанализируем производительность когнитивного теста по 7 задачам: 💡 Выше = лучшая производительность (точность). Все задания имеют множественный выбор, поэтому шанс составляет ~0,25–0,5. Они проверяют сложные рассуждения и фактические знания. — Еретик v2 лучше всего показывает себя на ARC-Challenge (+0,002 против оригинала) и восстанавливает почти все утраченные позиции. — Heretic v1 заметно проседает в ARC-Challenge (-0,02), но превосходит оригинал на OpenBookQA (+0,022). Вывод: более тяжелая абляция в версии 1 (более высокий KL, меньше отказов) немного ухудшает точность рассуждений, но версия 2 настроила ее обратно, вероятно, из-за более сбалансированных параметров абляции. Исходная модель кажется чрезмерно подвергнутой цензуре в отношении наукоемких задач. — Hellaswag: v1 > исходный (0,276 против 0,262) → улучшение +5,3% — PIQA: v1 > исходный (0,582 против 0,573) → улучшение +1,6% — Winogrande: v2 > исходный (0,522 против 0,517) → улучшение +1% ✅ Все три децензурированные модели либо соответствуют, либо улучшают…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: nightmedia
Теги: mlx, gpt_oss, vllm, heretic, uncensored, decensored, abliterated, mxfp4
Лайков: 12 | Загрузок: 1,421
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
