— NVFP4 на SM121 возвращается к W4A16 (собственный путь W4A4 недоступен, отсутствует инструкция cvt.e2m1x2) — Используйте —quantization modelopt (not compressed-tensors) — —language-model-only skips vision/audio encoder profiling for text-only inference — Очистите кэш страницы перед запуском на UMA: sudo sh -c ‘echo 3 > /proc/sys/vm/dropcaches’` Эта модель имеет удаленную (аблитерированную) фильтрацию безопасности и может генерировать неподходящее содержимое. Пользователи несут единоличную ответственность за все последствия, вытекающие из его использования. — Оригинальная модель: google/gemma-4-E4B-it от Google DeepMind — Аблитерация: huihui-ai — NVFP4 Квантование: YuYu1015 на NVIDIA DGX Spark (GB10) — Инструмент квантования: NVIDIA ModelOpt — NVFP4 在 SM121 上會退回 W4A16 (原生W4A4 路徑不可用，缺少 cvt.e2m1x2 指令） — 使用 —quantization modelopt非 （ compressed-tensors ） — —language-model-only跳過視覺/音訊編碼器profiling，加速純文字推理 — UMA 架構啟動前請先清除 page cache：sudo sh -c ‘echo 3 > /proc/sys/vm/dropcaches’` — 原始模型：google/gemma-4-E4B-it ，Google DeepMind — 去審查： huihui-ai
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: YuYu1015
Теги: gemma4, image-text-to-text, nvfp4, 4-bit, quantized, abliterated, dgx-spark, vllm
Лайков: 3 | Загрузок: 49
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
