FP8 квантованное производное wangzhang/Qwen3.5-122B-A10B-аблитерированного, которое само является производным от Qwen/Qwen3.5-122B-A10B. Этот репозиторий предоставляет модифицированную производную контрольную точку для локального вывода и обслуживания. Основными изменениями в этом репозитории являются квантование FP8, переупаковка /форматирование экспорта веса и корректировка совместимости обслуживания. This model was quantized from the abliterated BF16 checkpoint into FP8 format for more practical deployment while preserving compatibility with modern inference stacks. This model is intended for vLLM-based inference and may require tensor parallelism depending on available memory. The patch will become unnecessary once vLLM adds native support for qwen35moetext`. wangzhang/Qwen3.5-122B-A10B-abliterated — uncensored via Prometheus abliteration. Refusal rate 0.5% (1/200), KL divergence 0.0115.
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: bjk110
Теги: qwen3_5_moe, qwen3.5, moe, fp8, quantized, abliterated, compressed-tensors, vllm
Лайков: 3 | Загрузок: 74
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
