Урезанная версия Qwen3-8B, созданная с использованием Heretic v1.2.0 (git master). В этой модели уменьшено количество отказов при сохранении качества модели, что делает ее подходящей в качестве кодировщика текста без цензуры для таких моделей генерации изображений, как Klein 9B. Вы можете увидеть докер, скрипты и конфигурации, использованные для создания этих файлов, на сайте Heretic Docker Github. — Базовая модель: Qwen/Qwen3-8B — Метод уничтожения: Heretic v1.2.0 (git master, commit 19cdf7e) — Испытаний: 3000 — Выбрано пробное испытание: Испытание 2681 — Отказов: 13/100 (против 100/100 оригинала) — Дивергенция KL: 0,0838 (минимальное повреждение модели) NVFP4 (4-битные варианты с плавающей запятой, E2M1) используют собственный формат квантования ComfyUI. Они примерно в 3 раза меньше, чем bf16, и загружаются в ComfyUI без каких-либо плагинов. Графические процессоры Blackwell (RTX 5090/5080, SM100+) могут использовать собственные тензорные ядра FP4 для достижения наилучшей производительности, но ComfyUI также поддерживает программное деквантование на старых графических процессорах (проверено на RTX 4090). 1. Загрузите файл формата ComfyUI: — FP8 (рекомендуется): comfyui/qwen3-8b-hereticfp8e4m3fn.safetensors (8,8 ГБ) — NVFP4 (самый маленький): comfyui/qwen3-8b-hereticnvfp4.safetensors (6,0 ГБ) — bf16 (полная точность): comfyui/qwen3-8b-heretic.safetensors` (16ГБ) 3. В вашем Klein 9B…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: DreamFast
Теги: gguf, qwen3, abliteration, heretic, uncensored, qwen, klein, klein-9b
Лайков: 13 | Загрузок: 2,216
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
