Это экспериментальный квант. Это квант Deckard(qx), но встраивание имеет размер 3 бита. > Когда станут доступны метрики mxfp4 модели Derestricted, мы сможем действительно понять, кто это сделал, поскольку на данный момент это комбинация эффектов Derestrict и Deckard(qx) на базовой модели. Давайте внимательно проанализируем и сравним модель GLM-4.5-Air-Derestricted-qx53g с квантованными моделями mxfp4 (unsloth-GLM-4.5-Air-mxfp4 и GLM-4.5-Air-REAP-82B-A12B-256K-mxfp4), уделяя особое внимание как производительности тестов, так и когнитивным последствиям, особенно с учетом уникальной методологии, лежащей в основе. qx53g. Все модели имеют один и тот же балл boolq (0,378) — вероятно, это потолок или узкое место в этой задаче для этого семейства моделей. 🧾 Наблюдения — ✅ unsloth-mxfp4 самый высокий средний показатель (0,5424) — ✅ qx53g второй (0,5354), очень близок к unsloth — ✅ REAP-mxfp4 самый низкий (0,5124) Итак: — unsloth-mxfp4 лидирует в 4 задачах (arcchallenge, arceasy, openbookqa, winogrande) — qx53g лидирует в двух задачах (hellaswag, piqa) — REAP-mxfp4 не лидирует ни в одной. Почему unsloth-mxfp4 работает лучше всего? — Это оригинальный GLM-4.5-Air, полностью квантованный с помощью MXFP4 (4-битный FP с микромасштабированием). — Несмотря на то, что это формат с меньшей точностью, он наиболее соответствует…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: nightmedia
Теги: mlx, glm4_moe, abliterated, derestricted, glm-4.5-air, unlimited, uncensored, conversational
Лайков: 6 | Загрузок: 164
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
