Этот репозиторий предоставляет оптимизированную для Apple MLX 4-разрядную mxfp4 квантованную контрольную точку базовой модели Qwen/Qwen3-Next-80B-A3B-Thinking для быстрого и эффективного с точки зрения памяти локального вывода на Apple Silicon. Key details — Format: MLX runtime, safetensors sharded weights — Quantization: mxfp4, groupsize =32 with selective 8‑bit gates — Task: text generation / chat — Tokenizer: provided via tokenizer.json (BPE) with chattemplate.jinja — model-0000X-of-00009.safetensors and model.safetensors.index.json — weights (LFS) — config.json — architecture and quantization keys for MLX loaders — tokenizer.json, tokenizerconfig.json, vocab.json, merges.txt, addedtokens.json, specialtokensmap.js 4-разрядная контрольная точка значительно снижает нагрузку на память, но модели класса 80B по-прежнему требуют значительного объема VRAM и системной оперативной памяти. Для достижения наилучших результатов убедитесь, что доступна замена macOS, и соответствующим образом ограничьте maxtokens. — Окружающая среда: Apple Silicon (изолированные прогоны; по одной модели в памяти за раз). — Скрипт: scripts/bench/qwenmxfp4vsint4.py с…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: abnormalmapstudio
Теги: mlx, qwen3_next, 4-bit, mxfp4, conversational
Лайков: 4 | Загрузок: 43
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
