Этот репозиторий теперь связывает glmmoedsa.py (объявленный через modelfile в config.json `), фиксированную среду выполнения для этой архитектуры, и нуждается в ней: собственный glmmoedsa mlx-lm строит молниевый индексатор на всех 78 слоях, но GLM-5.2 отправляет веса индексатора на 21 (indexertypes: остальные 57 «общих» слоев повторно используют предыдущий полный выбор верхнего слоя k). mlxlm.load загружается мягко и оставил эти 57 индексаторов при случайной инициализации. Prompts up to 2048 tokens were unaffected (the indexer is bypassed below indextopk); beyond that, 57 of 78 layers attended to keys chosen by random projections. The bundled runtime implements the schedule as the reference does (plus fp32 indexer scores and router logits and the indexer LayerNorm epsilon); tiny-config parity against transformers` 5.16 is 4e-7 with the sparse path live, and a strict load of this checkpoint reports zero missing and zero unexpected tensors. Details, tests and the GLM-5.3 builds made with it: github.com/PipeNetwork/glm53-mlx. The weights are unchanged. An MLX conversion of zai-org/GLM-5.2 quantized to NVFP4 (4-bit FP4, group size 16) for Apple Silicon with mlx-lm. This is the MLX analog of NVIDIA’s nvidia/GLM-5.2-NVFP4. NVIDIA’s checkpoint…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: pipenetwork
Теги: mlx, glm_moe_dsa, moe, nvfp4, conversational, en, 4-bit
Лайков: 3 | Загрузок: 186
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
