GGUF квантовал выпуск квинтэссенции рассуждений Claude Opus/Sonnet на Qwen3.6-27B со встроенной поддержкой спекулятивного декодирования MTP в llama.cpp. Ключевые цифры: Q4KM + MTP2 → генерация 114,78 ток/с, принятие черновых проектов 80,33%, на 64% быстрее, чем базовый уровень без MTP. На той же машине этот выпуск обеспечивает вдвое больше видимого содержания ответов по сравнению с исходным qwen3.6-27b, сохраняя при этом правильность 4/4. Тест на той же машине по сравнению с исходным (неквантованным) qwen3.6-27b: сторона GGUF включает холодный запуск llama-cli — это консервативная оценка. Оригинал тратит большую часть своего бюджета токенов на скрытые цепочки рассуждений. В этом выпуске этот бюджет преобразуется в видимые ответы, что делает его более подходящим для интерактивного локального использования. Требуется последняя сборка llama.cpp с поддержкой MTP Qwen3.5/3.6. Старые конвейеры преобразования могут пропускать необходимые метаданные и завершаться сбоем из-за невозможности создать контекст MTP. Проверенный стек: — сборка Windows CUDA llama.cpp — графический процессор: NVIDIA RTX PRO 6000 Blackwell 96 ГБ — -ngl 999 —spec-type Draft-mtp —spec-draft-n-max 2 —spec-draft-ngl 999 — LM Studio 0.4.14+ открывает MTP по умолчанию, нулевая конфигурация MTP2 обеспечивает лучший компромисс между приемом и пропускной способностью. Принятие MTP3…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: Brian6145
Теги: gguf, llama.cpp, qwen, qwen3, qwen3.6, mtp, speculative-decoding, quantized
Лайков: 9 | Загрузок: 9,455
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
