«»»»»»не рекомендую использовать это, пожалуйста, дайте мне знать, если вы это сделаете.»»»»» . Это удаленная версия zai-org/GLM-5 (744B MoE, 40B активных параметров). Удаление удаляет «направление отказа» из весов модели с использованием ортогонализации весов. Это позволяет модели реагировать на более широкий диапазон подсказок без отказов безопасности, сохраняя при этом общие возможности. 1. Вычисленные направления отказа для всех 78 слоев с использованием контрастных пар активации (вредные и безвредные подсказки) 2. Применена ортогонализация весов к слоям 15–54: — selfattn.oproj.weight (проекция вывода внимания) — mlp.sharedexperts.downproj.weight (общая экспертная нисходящая проекция) 3. Альфа = 1,0, всего изменено 80 весовых матриц — Базовая модель: zai-org/GLM-5 (744B MoE, BF16) — Модифицированные слои: 15–54 (40 из 78 слоев) — Измененные веса: 80 (oproj +sharedexperts.downproj на слой) — Точность**: BF16 (полная точность, отсутствие артефактов квантования) Эта модель предназначена для исследовательских целей. Пользователи несут ответственность за обеспечение надлежащего использования.
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: skyblanket
Теги: glm_moe_dsa, abliterated, uncensored, glm, moe, conversational, endpoints_compatible
Лайков: 16 | Загрузок: 951
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
