Ardenzard/Qwen3.6-27B-DFlash-GGUF - Каталог нейросетей
Генерация текста

Ardenzard/Qwen3.6-27B-DFlash-GGUF

Добавлено:
Ardenzard/Qwen3.6-27B-DFlash-GGUF

В этом репозитории хранятся квантования GGUF средства разработки DFlash для Qwen/Qwen3.6-27B. Эти файлы предназначены для спекулятивного декодирования DFlash с помощью сборок llama.cpp, поддерживающих архитектуру dflash-draft, особенно Spiritbuun/buun-llama-cpp. Это не официальный релиз z-lab или Qwen. Разработчиком исходного кода является z-lab/Qwen3.6-27B-DFlash, который имеет лицензию MIT и в настоящее время отмечает, что поддержка Qwen3.6 DFlash все еще находится на стадии развития из-за изменений в архитектуре, включая причинные уровни SWA. Целевая модель — Qwen/Qwen3.6-27B, лицензированная Apache 2.0. На основе наших тестов RTX 3090 llama.cpp/buun с загруженным мультимодальным проектором: — Лучшая универсальная целевая настройка Q4KM: Qwen3.6-27B-DFlash-IQ4XS.gguf — Сильный претендент на длинный код: Qwen3.6-27B-DFlash-Q4KM.gguf — Избегайте этой конкретной настройки с загруженным 3090/mmproj, если у вас нет причины: Qwen3.6-27B-DFlash-Q80.gguf Q8_0 имел конкурентоспособное принятие коротких кодов, но дополнительные затраты на видеопамять не привели к повышению сквозной пропускной способности на нашем пути к серверу llama.cpp. F16 и Q6K включены для полноты картины. В таблицах тестов, приведенных ниже, основное внимание уделяется черновым показателям, которые мы фактически тестировали на пути к серверу RTX 3090; Q6K еще не тестировался в этом отношении…

Модальности:
Генерация текста

Области применения:
Диалог / чат


Задача: Генерация текста
Автор: Ardenzard
Теги: gguf, qwen, qwen3, qwen3.6, dflash, speculative-decoding, llama.cpp, buun-llama-cpp
Лайков: 9  |  Загрузок: 3,920

Открыть на HuggingFace →

Описание основано на материалах HuggingFace. Перевод выполнен автоматически.