Это квантование MXFP4_MOE модели GLM-4.5-Air-Derestricted. GLM-4.5-Air-Derestricted — это версия GLM-4.5-Air с ограничением ограничений, созданная Arli AI. Наша цель в этом выпуске — предоставить версию модели, в которой устранено поведение отказа, сохраняя при этом высокопроизводительные рассуждения оригинальной GLM-4.5-Air. Это отличается от обычной аблитерации, которая часто непреднамеренно «лоботомизирует» модель. Чтобы добиться этого, Arli AI использовала сохраняющую норму двухпроекционную аблитерацию, усовершенствованную технику, впервые разработанную Джимом Лаем (grimjim). Полную техническую информацию вы можете прочитать в этой статье. Стандартная аблитерация работает путем простого вычитания «вектора отказа» из весов модели. Хотя это позволяет снять цензуру с модели, с математической точки зрения это беспринципно. Он изменяет величину (или «громкость») нейронов, разрушая тонкие нормы функций, которые модель усвоила во время обучения. Именно из-за этого ущерба многие модели без цензуры страдают от ухудшенной логики или галлюцинаций. Эта модель была модифицирована с использованием трехэтапного подхода, который устраняет отказы, не нарушая мозг модели: 1. Бипроекция (таргетинг). Мы усовершенствовали направление отказа, чтобы обеспечить его математическую…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: noctrex
Теги: gguf, uncensored, abliterated, endpoints_compatible, conversational
Лайков: 6 | Загрузок: 153
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
