Квантованная NVFP4 версия Jiunsong/supergemma4-26b-abliterated-multimodal — удаленная (без цензуры) мультимодальная модель Gemma 4 26B Mixture-of-Experts с возможностями мышления/рассуждения. Квантовано с использованием NVIDIA ModelOpt 0.43 (основной) с NVFP4DEFAULTCFG на встроенном графическом процессоре Blackwell. Кодер Vision сохранен в полном объеме BF16. Пиковая совокупная пропускная способность: 1890 ток/с при 256 одновременных операциях на DGX Spark (GB10). Сквозная проверка: калибруется → экспортируется → обслуживается в Spark → оценивается параллелизм 1–256. 1. Проверьте образ: проверка докера | Изображение grep должно отображать vllm-spark-gemma4-nvfp4-awq 2. Проверьте монтирование: docker Inspect —format ‘{{json .Mounts}}’ должно показать ровно 3 монтирования (модель + 2 патча) 3. Проверьте выбор серверной части в журналах: — Использование NvFp4LinearBackend.FLASHINFERCUTLASS для NVFP4 GEMM ✅ — Использование ‘MARLIN’ Серверная часть NvFp4 MoE ✅ 4. Тест с необработанным чатом: {«messages»: [{«role»: «user», «content»: «Столица Франции? Одно предложение.»}]} — должно вернуться «Столица Франции — Париж.». Если нет, проверьте журналы контейнера на предмет сбоев или НЕОЖИДАННЫХ тензорных предупреждений во время загрузки. Даже запросы на 465 токенов дают TTFT менее 50 мс — фиксированные накладные расходы на запуск ядра доминируют над предварительным заполнением для всего, что < ~ 500 токенов.…
Модальности:
Генерация текста Компьютерное зрение Мультимодальность
Области применения:
Генерация кода Логика и рассуждение Следование инструкциям Диалог / чат Вызов функций (Tool use)
Задача: Генерация текста
Автор: AEON-7
Теги: gemma4, image-text-to-text, 26b, 4-bit, 4b-active, aarch64, abliterated, aeon
Лайков: 6 | Загрузок: 353
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
