AICP-Labs/qwen3-32b-dflash-en-zh

A DFlash draft model trained from Qwen3-32B using a EagleChat subset (English 200K + Chinese 200K) to accelerate speculative decoding. — Target model: /models/Qwen3-32B — Draft model: sx-aicp/qwen3-32b-dflash-en-zh (or local path) — Max new tokens: 2048 — Attention backend: fa3 — Tensor parallel (tpsize): 4 — devicesm: 90 (H100) — dropfirstbatch: true — Concurrencies: 1 / 4 / 32 (varies by suite) > Format: baseline tok/s → DFlash tok/s; Speedup× / L(acceptance length). bash python benchmarksglang.py —tp-size 4 —target-model /models/Qwen3-32B —draft-model /path/to/draftmodel —concurrencies 1,4,32 —dataset-name math500 —attention-backends fa3 —output-md sglangresults.md

Модальности:
Генерация текста

Задача: Генерация текста
Автор: AICP-Labs
Теги: qwen3, speculative-decoding, dflash, draft-model, inference-acceleration, en, zh, text-generation-inference
Лайков: 3  |  Загрузок: 296

Открыть на HuggingFace →

Описание основано на материалах HuggingFace. Перевод выполнен автоматически.