GLM-4.6-REAP-268B-A32B-Derestricted — это версия GLM-4.6-REAP-268B-A32B с ограниченными ограничениями, созданная Arli AI. Наша цель в этом выпуске — предоставить версию модели, в которой устранено поведение отказа, сохраняя при этом высокопроизводительные рассуждения оригинальной GLM-4.5-Air. Это отличается от обычной аблитерации, которая часто непреднамеренно «лоботомизирует» модель. Для достижения этой цели Arli AI использовала сохраняющую норму двухпроекционную аблитерацию, усовершенствованную технику, впервые разработанную Джимом Лаем (grimjim). Полную техническую информацию вы можете прочитать в этой статье. Стандартная аблитерация работает путем простого вычитания «вектора отказа» из весов модели. Хотя это позволяет снять цензуру с модели, с математической точки зрения это беспринципно. Он изменяет величину (или «громкость») нейронов, разрушая тонкие нормы функций, которые модель усвоила во время обучения. Именно из-за этого ущерба многие модели без цензуры страдают от ухудшенной логики или галлюцинаций. Эта модель была модифицирована с использованием трехэтапного подхода, который устраняет отказы, не нарушая мозг модели: 1. Бипроекция (таргетинг). Мы усовершенствовали направление отказа, чтобы обеспечить его математическую ортогональность «безвредным» направлениям. Это гарантирует, что…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: ArliAI
Теги: glm4_moe, abliterated, derestricted, glm-4.6, unlimited, uncensored, conversational, endpoints_compatible
Лайков: 5 | Загрузок: 17
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
