Этот репозиторий содержит черновую модель Domino/DFlash для спекулятивного декодирования с помощью Qwen/Qwen3-4B. Проект модели не предназначен для использования в качестве отдельной языковой модели; он должен быть связан с целевой моделью во время генерации. Domino поддерживает блочно-параллельное создание чертежей, добавляя при этом легкую головку причинной коррекции. Это сохраняет низкую стоимость разработки параллельного спекулятивного декодирования и улучшает принятие черновых токенов. — Целевая модель: Qwen/Qwen3-4B — Черновая модель: Huang2020/Qwen3-4B-Domino-b16 — Размер блока: 16 — Рекомендуемое использование: один графический процессор для прямого пути создания спецификации — Настройка чата Qwen3: режим мышления отключен
Модальности:
Генерация текста
Задача: Генерация текста
Автор: Huang2020
Теги: qwen3, feature-extraction, speculative-decoding, domino, dflash, custom_code, text-generation-inference, endpoints_compatible
Лайков: 5 | Загрузок: 943
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
