Нормосохраняющая аблитерированная LoRA-настроенная модель Gemma 4 26B (A4B MoE), оптимизированная для кодирования, рассуждений, задач агента и полностью нецензурного разговора. Тонкая настройка на Apple Silicon с использованием MLX. > Идеальное отсутствие цензуры (0% отказ) с нулевой потерей качества — достигается за счет нормативно-сохраняющей экспертно-гранулярной аблитерации (EGA), нацеленной на LoRA. — Базовая модель: google/gemma-4-26B-A4B-it — Аблитерация: TrevorJS нормально-сохраняющая двупроектная EGA — KL дивергенция 0.090 — Архитектура: Mixture-of-Experts — 25.2B total params, 3.8B active per token, 128 experts/layer, top-8 routing — Квантование: 4-bit mixed (MLP/router 8-bit, attention 4-bit) — MLX format, ~13GB — LoRA Config: rank=8, scale=2.0, dropout=0.05, attention-only, 16 layers — Обучение: weakness-targeted data, lr= 5e-5, mask-prompt, grad-checkpoint — Framework: mlx Эта модель использует три инновации для достижения нецензурирования с нулевой потерей возможностей: 1. Двухпроектная аблитерация с сохранением нормы: декомпозиция весов в направлении магнитуды, удаление отказа только от направления, сохранение исходных величин 2. Экспертно-гранулярная аблитерация…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: aa221241
Теги: mlx, gemma4, lora, uncensored, abliterated, apple-silicon, 4bit, quantized
Лайков: 3 | Загрузок: 211
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
