— Архитектура модели: Qwen3VLForConditionalGeneration — Входные данные: текст, изображение — Выходные данные: текст — Оптимизация модели: — Квантование веса: FP4 — Квантование активации: FP4 — Дата выпуска: — Версия: 1.0 — Разработчики модели:: Red Hat Эта модель была получена путем квантования весов и активаций Qwen/Qwen3-VL-32B-Instruct для типа данных FP8. Эта оптимизация уменьшает количество бит на параметр с 16 до 4, уменьшая размер диска и требования к памяти графического процессора примерно на 75%. Квантуются только веса и активации линейных операторов внутри блоков преобразователей языковой модели. Эта модель была квантована с использованием библиотеки llm-compressor, как показано ниже. Модель была оценена в задаче таблицы лидеров OpenLLMv1 с использованием lm-evaluation-harness. vLLM использовался для всех оценок.
Модальности:
Генерация текста
Области применения:
Диалог / чат Следование инструкциям
Задача: Генерация текста
Автор: RedHatAI
Теги: qwen3_vl, fp8, quantized, llm-compressor, compressed-tensors, red hat, conversational, 8-bit
Лайков: 6 | Загрузок: 12,165
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
