NVFP4 маршрутизируемое экспертное квантование deepseek-ai/DeepSeek-V4-Flash-0731, полученное с помощью собственного опубликованного потока NVIDIA Model-Optimizerdeepseekv4 `(modelopt 0.45.0). На момент публикации общедоступного NVFP4 версии 0731 не существовало; официальная NVIDIA DeepSeek-V4-Flash-NVFP4 охватывает только более раннюю контрольную точку предварительного просмотра. (Дедупликация фрагментов во время загрузки предполагает, что идентичное преобразование уже существовало в частном порядке на концентраторе — приведение является детерминированным, поэтому любой точный запуск потока NVIDIA дает именно эти байты.) DeepSeek-V4-Flash поставляет своих маршрутизируемых экспертов изначально в MXFP4, который vLLM обслуживает через путь ядра deepgemmmegamoe. Эксперты NVFP4 вместо этого работают на стандартных путях тензорного ядра Blackwell FP4 (бэкэнд MoE по умолчанию vLLM), открывая контрольную точку для оборудования за пределами досягаемости этого ядра, включая рабочую станцию Blackwell (SM120, например, RTX PRO 6000). Это порт пути ядра, а не сжатие: исходные и выходные данные составляют ~160 ГБ, а экспертные веса преобразуются точно ** (см. Ниже). Преобразование добавляет набор откалиброванных шкал активации, позволяющих выполнить NVFP4 W4A4. Экспертные веса не были повторно квантованы. Весы Power-of-Two (E8M0) для 32-элементов MXFP4…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: auroter
Теги: deepseek_v4, nvfp4, fp4, quantized, vllm, 8-bit, fp8
Лайков: 3 | Загрузок: 112
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
