— Архитектура модели: Qwen3ForCausalLM — Входные данные: текст — Выходные данные: текст — Оптимизация модели: — Квантование активации: FP8 — Квантование веса: FP8 — Варианты предполагаемого использования: — Обоснование. — Вызов функции. — Эксперты в предметной области посредством тонкой настройки. — Многоязычная инструкция. — Перевод. — За пределами области применения: использование любым способом, нарушающим применимые законы и правила (включая законы о торговом регулировании). — Дата выпуска: 02.05.2025 — Версия: 1.0 — Проверено на: RHOAI 2.24, RHAIIS 3.2.1 — Разработчики моделей: RedHat (Neural Magic) — URI хранилища ModelCar: oci://registry.redhat.io/rhelai1/modelcar-qwen3-8b-fp8-dynamic:1.5 — Проверено на RHOAI 2.24: quay.io/modh/vllm:rhoai-2.24-cuda — проверено на RHAIIS 3.2.1: http://registry.redhat.io/rhaiis/vllm-cuda-rhel9:3.2.1 — проверено на vLLM: 0.10.0 Эта модель была получена путем квантования активаций и весов от Qwen3-8B до FP8 тип данных. Эта оптимизация уменьшает количество бит, используемых для представления весов и активаций, с 16 до 8, уменьшая требования к памяти графического процессора (примерно на 50%) и увеличивая пропускную способность вычислений при умножении матриц (примерно в 2 раза). Весовое квантование также снижает требования к размеру диска примерно…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: RedHatAI
Теги: qwen3, qwen, fp8, vllm, conversational, text-generation-inference, zh, en
Лайков: 12 | Загрузок: 44,133
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
