Этот репозиторий содержит два экспериментальных квантования NVFP4 GGUF Qwen3.6-35B-A3B для llama.cpp. Это было квантовано с помощью моего экспериментального инструмента Advanced-gguf-quantizer. Обе модели были впервые откалиброваны с помощью imatrix с использованием нового пользовательского набора данных, который я оцениваю. Все результаты PPL/KLD были измерены на основе той же базы KLD викитеста BF16, а затем сравнены с официальной версией NVFP4 от NVIDIA. В настоящее время проводятся дальнейшие оценочные испытания для выявления реальных различий в производительности между TURBO и HQ.
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: michaelw9999
Теги: gguf, qwen3.6, qwen3.6-35b, nvfp4, llama.cpp, michaelw9999, qwen, blackwell
Лайков: 6 | Загрузок: 162,416
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
