Квантование GGUF для wangzhang/Qwen3.6-27B-удалено, Qwen3.6-27B с подавлением отказа на втором проходе (10/100 отказов, 15/15 жесткого соответствия, совокупный KL ≈ 0,024 по сравнению с исходным Qwen/Qwen3.6-27B). См. карту базовой модели для получения полной методологии аблитерации и истории развертки V1 → V4. Все три были созданы из одной и той же исходной контрольной точки безопасных тензоров BF16 с помощью llama.cpp Converthftogguf.py (F16) и llama-quantize (Q80, Q4KM). Никакой иматричной калибровки — если вы хотите улучшить поведение Q4 при минимальной дополнительной настройке, запустите свой собственный проход иматрики с небольшим набором отложенных подсказок и повторите квантование из файла F16 здесь. Вам нужен файл llama.cpp с поддержкой гибридного GDN Qwen3.5 — он появился недавно (вышел в 2026 году). Архитектура зарегистрирована как qwen35 в метаданных GGUF, а код вывода обрабатывает 48 слоев GatedDeltaNet + 16 уровней полного внимания с шаблоном чередования fullattentioninterval = 4`. Более старые сборки llama.cpp будут выдавать ошибку «неизвестная модель архитектуры». Проверенная работа: мастер-файл llama.cpp (фиксация ≥ 2026-01), в который добавлен Qwen35TextModel(LinearAttentionVReorderBase) и соответствующий граф вывода. Проверьте свою сборку с помощью: ollama, LM Studio и KoboldCpp наследуют llama.cpp — используйте…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: wangzhang
Теги: gguf, abliterated, uncensored, quantized, qwen3.6, hybrid-attention, gated-deltanet, llama.cpp
Лайков: 7 | Загрузок: 3,739
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
