Квантование NVFP4 | 25,68 ГБ (было 70+ ГБ) | Текст/видение/аудиовход | Текстовый/речевой вывод Это Qwen3-Omni-30B-A3B-Instruct — современная омнимодальная базовая модель Alibaba — с компонентом Thinker, квантованным до NVFP4 с помощью оптимизатора моделей NVIDIA. — Омнимадальный: понимает текст, изображения и звук — Речевой вывод: может генерировать речевые ответы через компонент Talker — Архитектура MoE: всего 30 бит параметров, 3 бита активных (эффективный вывод) — Квантование NVFP4: сжатие Thinker LLM 66 % — NVIDIA GB10 / DGX Spark — NVIDIA B200 (Blackwell) — NVIDIA A100 80 ГБ — NVIDIA L40S 48 ГБ Мы используем DEFAULT для более быстрого развертывания. Для максимальной точности рассмотрите AWQ_FULL. — Команда Alibaba Qwen для модели Qwen3-Omni — NVIDIA для Model Optimizer и NVFP4 — Команда vLLM для механизма вывода
Модальности:
Генерация текста Аудио Компьютерное зрение Мультимодальность
Области применения:
Диалог / чат Следование инструкциям
Задача: Генерация текста
Автор: cybermotaz
Теги: omni-modal, multimodal, audio, vision, speech, qwen, qwen3, nvfp4
Лайков: 7 | Загрузок: 0
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
