— Архитектура модели: Qwen/Qwen3-VL-235B-A22B-Instruct — Входные данные: текст — Выходные данные: текст — Оптимизация модели: — Квантование веса: FP4 — Квантование активации: FP4 — За пределами области применения: использование любым способом, нарушающим применимые законы или правила (включая законы о соблюдении правил торговли). Используйте на языках, отличных от английского. — Дата выпуска: 29.10.2025 — Версия: 1.0 — Разработчики модели: RedHatAI — URI хранилища ModelCar: oci://registry.redhat.io/rhai/modelcar-qwen3-vl-235b-a22b-instruct-nvfp4:3.0 — Проверено на vLLM: 0.13.0 — Проверено на RHAIIS: 3.3 — Проверено на RHOAI: 3.3. Эта модель представляет собой квантованную версию Qwen/Qwen3-VL-235B-A22B-Instruct. Она была оценена по нескольким задачам для оценки ее качества по сравнению с неквалифицированной моделью. Эта модель была получена путем квантования весов и активаций Qwen/Qwen3-VL-235B-A22B-Instruct в тип данных FP4, готовый к выводу с vLLM>=0,9.1. Эта оптимизация уменьшает количество бит на параметр с 16 до 4, уменьшая размер диска и требования к памяти графического процессора примерно на 75%. Только веса и активации линейных операторов внутри блоков трансформаторов квантуются с помощью LLM Compressor. Эту модель можно использовать…
Модальности:
Генерация текста
Области применения:
Диалог / чат Следование инструкциям
Задача: Генерация текста
Автор: RedHatAI
Теги: qwen3_vl_moe, fp4, vllm, conversational, en, de, fr, it
Лайков: 15 | Загрузок: 7,732
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
