JANGTQ (JANG TurboQuant) квантование zai-org/GLM-5.2 (744B-параметр glmmoedsa MoE) для MLX на кремнии Apple. TurboQuant применяет вращение Адамара со случайным знаком, норму FP16 для каждого ряда и кодовую книгу per-(dim,bits) Lloyd-Max для маршрутизируемых экспертов, сохраняя магистраль с более высокой точностью. Профиль: JANGTQ_K (max-quality mixed precision) — ~260 ГБ на диске. Голова MTP (multi-token-prediction) отбрасывается — она обслуживает только спекулятивное декодирование и не используется путем декодирования одного токена MLX. — ~260 ГБ унифицированной памяти. Модель всей машины; не будет загружаться вместе с другими крупными заданиями. Mac 512 ГБ (например, M3 Ultra) загружает его с комфортом. — Загрузите пакет jang-tools. Не поддерживается акциями MLX, LM Studio или Ollama. — Требуется среда выполнения IndexShare-patched (обязательно). GLM-5.2 представляет IndexShare: большинство слоев с редким вниманием являются общими и не имеют весов индексатора DSA — они повторно используют выборки топ-k токенов, вычисленные периодическими полными слоями. Модель glmmoedsa от Stock mlxlm запускает индексатор на каждом слое, поэтому она не может загрузить этот пакет** как есть. Stock mlxlm (через 0.31.3) не реализует IndexShare. Исправленный модуль поставляется во время выполнения jang-tools: он строит только индексатор DSA…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: bearzi
Теги: mlx, glm_moe_dsa, jang, jangtq, turboquant, mixed-precision, apple-silicon, glm
Лайков: 3 | Загрузок: 164
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
