Калиброванное квантование NVFP4 InternScience/Agents-A1 (агент Qwen3.5-35B-A3B hybrid MoE) для vLLM. 21,8 ГБ — и оно соответствует или превосходит официальный FP8 на каждой оси качества, которую мы измерили, при 60% его размера. Квантован и проверен protoLabs на 2× RTX PRO 6000 Blackwell (sm120), vLLM 0.22.1. Одни и те же наборы, один и тот же судья, одна и та же подвеска, размышляя, 8192-токена бюджета с обеих сторон (спаривание между бюджетными методологиями — это то, как лгут квантовые уклонения — мы сами перестроили FP8, а не цитируем его неограниченные бюджетные числа): официальный NVFP4 (———————————-этот) дельта-ось FP8 ————— ———————- рассуждения-v2 (24, решающая оценка) 0,840 0,868 0,028-функциональный вызов (54, детерминированный) Примечание для использования в почти максимальном контексте: эта модель рассуждает подробно — на глубине 60K, оставьте >5K токенов…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: protoLabsAI
Теги: qwen3_5_moe, nvfp4, vllm, compressed-tensors, moe, agentic, qwen3.5, blackwell
Лайков: 4 | Загрузок: 995
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
