MagicQuant — это гибридная система обнаружения и проверки GGUF, основанная на тестах, ориентированная на поиск реальных, практических квантов GGUF, специфичных для каждой архитектуры. Будь то чистая базовая модель, созданная с помощью llama.cpp, изученные тензорные конфигурации из Unsloth или специально созданный гибрид MagicQuant, в приведенной ниже таблице моделей показаны кванты, которые выиграли проверки на доминирование, выжили в пространствах коллапса и/или оказались нелинейно лучшими. Вместо того, чтобы сбрасывать все возможные типы квантов, MagicQuant тестирует, проверяет и жестоко уничтожает все, что считается недостойным. MagicQuant — это проект с открытым исходным кодом. В настоящее время полная методология документирована на MagicQuant Wiki. В конечном итоге в эту вики будет загружен код, и для репозитория она будет переименована просто в «MagicQuant» вместо «MagicQuant-Wiki». Код все еще находится на стадии раннего прототипа. Он начинает созревать, но на протяжении всего процесса требует жесткой руки. Как только я буду уверен в коде, поверьте, что методология и протоколы достаточно зрелы, и я не буду менять их еженедельно и сбивать каждую настройку после каждого обновления. Я рад поделиться не только всей методологией, но и всей базой кода для воспроизведения…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: magiccodingman
Теги: gguf, qwen3_5_moe, magicquant, conversational, endpoints_compatible, imatrix
Лайков: 5 | Загрузок: 615
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
