Квантование GGUF с поддержкой MTP lordx64/Qwen3.6-35B-A3B-Claude-4.7-Opus-Reasoning-Distilled, дистилляция Qwen 3.6 35B-A3B в стиле рассуждений Claude Opus 4.7. — Заголовок MTP (Multi-Token Prediction) сохранен. Обеспечивает ускорение генерации примерно на 25% рабочих нагрузок кода через —spec-type mtp на серверах llama.cpp, созданных на основе PR #22673 от am17an. Официальные кванты lordx64 не включают поддержку MTP. — Калибровка Imatrix для квантов класса Q4 с использованием калибровочных данных Tristandruyen v5rc.txt — ответвления калибровочных данных Бартовски v3 с поддержкой Министерства экологии, которое привлекает больше экспертов во время калибровки. 125 блоков по 512 токенов. Примечание по поводу Q80: он был квантован без иматрицы, потому что Q80 обладает достаточно высокой точностью, поэтому прирост иматрицы незначителен (недоумение ~ 0,05%, фактически шум). По той же причине большинство общедоступных квантов Q8_0 не являются матричными. Примечание о тензоре ehproj головы MTP: калибровка imatrix выполняется вперед и проходит только через базовую модель, поэтому тензоры, специфичные для MTP, не получают данные о важности. Для этих квантов они возвращаются к IQ4XS/Q4KM по умолчанию. На практике это немного снижает точность разработки творческого контента, но ничего не нарушает. Для этого GGUF требуется сборка llama.cpp с MTP…
Модальности:
Генерация текста
Области применения:
Логика и рассуждение Диалог / чат
Задача: Генерация текста
Автор: Dyluhn
Теги: gguf, llama.cpp, mtp, speculative-decoding, qwen3.6, reasoning, chain-of-thought, mixture-of-experts
Лайков: 10 | Загрузок: 7,439
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
