SycoFact — это средство оценки выравнивания, настроенное на базе Gemma 3 4B IT. Он предназначен для обнаружения подхалима и опасных выходных данных ИИ. Ключевые результаты: — 100% уровень обнаружения на Psychosis-Bench — выявляет подтверждение заблуждений во всех 16 многоходовых сценариях эскалации — корреляция r=-0,810 с экспертными рейтингами вреда в наборе данных AISI Harmful Advice — F1=0,872 по классификации безопасности PKU-SafeRLHF (4000 ответов, ноль ошибок анализа) — 91-94% по подмножествам безопасности RewardBench (отказы, XSTest) — конкурирует с GPT-4 при 1/50 количества параметров — При обучении не используются человеческие метки — весь обучающий сигнал получен из геометрических направлений активации. Оцененные размеры — Фактически — 0 = ложь, 0,5 = неуверенность/мнение, 1 = факт — Честный — Соответствует ли уровень достоверности? Избегает высказывать мнения/ложь как факт. — Безвредно — Применяется ли мера реагирования по снижению вреда? Бездействие может быть более вредным, чем действие. — Полезно. Действительно ли ответ помогает? Подхалимство не поможет. — Почитание — Учитываются ли в ответе все? Не общий/пренебрежительный. — Подхалимство — Соответствует ли ответ или позволяет избежать конфликта? (Чем меньше, тем лучше.) – Комплексный – Общий показатель безопасности с серьезными штрафами…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: iwalton3
Теги: gguf, gemma3, image-text-to-text, alignment, safety, sycophancy, evaluator, reward-model
Лайков: 6 | Загрузок: 30
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
