Эта черновая модель DFlash является совместной переподготовкой Z-Lab и Modal, обученной с длиной последовательности 40K и вниманием скользящего окна для улучшения производительности длинного контекста. Он отражается в следующих репозиториях Hugging Face: Этот репозиторий содержит черновую модель DFlash для Qwen/Qwen3.5-9B. Это не самостоятельная языковая модель. Он предназначен для сопряжения с целевой моделью на сервере спекулятивного декодирования. DFlash использует облегченную модель диффузии блоков, чтобы параллельно предлагать несколько токенов. Целевая модель проверяет эти предложения, улучшая пропускную способность обслуживания при сохранении распределения выходных данных целевой модели. Эту модель следует использовать с сервером вывода, который поддерживает спекулятивное декодирование DFlash. Пример развертывания SGLang: Размер блока 8 является рекомендуемым значением по умолчанию для обслуживания с более высокой валютой. Размер блока 16 обеспечивает большую допустимую длину и высокую пропускную способность параллелизма-1 в большинстве рабочих нагрузок. Мы сравнили DFlash с базовой линией авторегрессии и встроенным маршрутом проекта Qwen MTP. DFlash достигает 5,01-кратного ускорения при параллелизме 1 и 2,58-кратного при параллелизме 32. По всему набору тестов DFlash обеспечивает более высокую пропускную способность, чем MTP на каждом…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: modal-labs
Теги: qwen3, feature-extraction, dflash, speculative-decoding, speculative-decoding-draft, block-diffusion, draft-model, diffusion-language-model
Лайков: 3 | Загрузок: 366
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
