GGUF-квантование DJLougen/Ornstein3.6-35B-A3B-RYS-SABER — полностью нецензурированная, улучшенная RYS точная настройка Ornstein с применением отказной абляции SABRE. > Источник BF16 (71 ГБ): DJLougen/Ornstein3.6-35B-A3B-RYS-SABER | Версия RYS с цензурой: DJLougen/Ornstein3.6-35B-A3B-RYS RYS дублирует один из средних уровней, что нарушает жестко запрограммированное предположение fullattentioninterval = 4 в стандартном загрузчике Qwen3.5 llama.cpp. Эти GGUF повторно преобразуются с использованием встроенного headcountkv для каждого уровня, и вам нужен файл llama.cpp, который считывает эти метаданные для каждого уровня, а не возвращается к формуле интервала. Исправленная вилка: https://github.com/DJLougen/llama.cpp (ветвь по умолчанию rys-qwen35, один коммит поверх ggml-org/llama.cpp@d00685831, полностью обратно совместим). Стандартные llama.cpp, Ollama, LM Studio и любая другая среда выполнения вывода, построенная на стандартной версии llama.cpp, в настоящее время не смогут загрузить эти файлы с ошибкой checktensordims в blk.11 — это ожидается до тех пор, пока патч не будет добавлен в исходную версию. Это производная от Qwen3-Thinking, и ее рассуждения выдаются внутри… тегов. Если вы видите, что в каждом ответе от llama-server (или любого OpenAI-совместимого клиента) появляются встроенные текстовые блоки, вам необходимо применить…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: DJLougen
Теги: gguf, qwen3_5_moe, mixture-of-experts, qwen3.6, rys, saber, refusal-ablation, uncensored
Лайков: 12 | Загрузок: 1,528
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
