(УСТАРЕЛО — часть MagicQuant v1.0, имевшая существенные недостатки. Используйте версию 2.0, готовую к производству) > MagicQuant — это автоматизированная система квантования, сравнительного анализа и эволюционная гибридная поисковая система GGUF для LLM. В каждый выпуск входят модели, оптимизированные для того, чтобы превзойти стандартные базовые показатели (Q8, Q6, Q5, Q4). Если в этом репозитории существует базовый GGUF, эволюционный движок не сможет его превзойти. Если базовый уровень отсутствует, это связано с тем, что гибридная конфигурация настолько превосходила его по производительности, что включение базового уровня было бы бессмысленным. Эти гибридные GGUF созданы максимально маленькими, быстрыми и с низким дрейфом, сохраняя при этом возможности модели. Чтобы глубже узнать, как работает MagicQuant, см. основной репозиторий: MagicQuant на GitHub (от MagicCodingMan). Примечания. Аппаратная совместимость HuggingFace, где биты отображаются, обычно неверна. Он не понимает гибридных миксов, так что не верьте ему. Схему именования можно найти на MagicQuant Wiki. * (советы) Меньшая потеря точности означает меньшее повреждение мозга. Больше TPS означает быстрее! Меньше всегда лучше, верно? 0–0,1% → Богоуровень, научно точный 0,1–1% → Практически без потерь, готов к работе с агентами 1–3% → Минимальные потери, отлично подходят для личного использования 3–5%…
Модальности:
Генерация текста
Области применения:
Диалог / чат Следование инструкциям
Задача: Генерация текста
Автор: magiccodingman
Теги: gguf, qwen3, mxfp4_hybrid, quantized, cpu, gpu, mxfp4, mxfp4_moe
Лайков: 8 | Загрузок: 381
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
