Квантование NVFP4 (W4A4) модели мышления (рассуждения) llm-jp/llm-jp-4-32b-a3b-thinking — японской модели мышления (рассуждения) Mixture-of-Experts с 32B-A3B битами. Квантовано с помощью llm-compressor 0.12.0 в формат compressed-tensors nvfp4-pack-quantized, готово к работе на графических процессорах NVIDIA Blackwell (SM120) через vLLM с быстрыми графами CUDA ядра FLASHINFER_CUTLASS MoE. — ~20,7 ГБ (против ~64 ГБ в bf16). Эксперты NVFP4 4-бит; lmhead сохранен в bf16; маршрутизаторы/шлюзы исключены. — Логика сохраняется после квантования, а японский язык остается беглым; во внутреннем тестировании также используется код для безопасной торговли/бэктестинга с опережающим анализом (использует `.shift(1)` для выполнения следующего бара). Размер промежуточного значения moe базовой модели равен 960, что не принимается быстрыми ядрами NVFP4 MoE vLLM (FLASHINFER_CUTLASS/MARLIN требуют выравнивания по 128, а 960/TP=480 отклоняется). This checkpoint therefore has each expert’s intermediate dimension zero-padded from 960 to 1024 before quantization, and config.json reports moeintermediatesize: 1024. The padding is mathematically lossless (the 64 extra units have zero gate/up output rows and zero down-projection columns, contributing exactly 0), but the tensor shapes differ from the base model — keep this in mind if you diff against…
Модальности:
Генерация текста
Области применения:
Логика и рассуждение Диалог / чат
Задача: Генерация текста
Автор: sakamakismile
Теги: qwen3_moe, nvfp4, w4a4, compressed-tensors, vllm, moe, reasoning, thinking
Лайков: 3 | Загрузок: 58
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
