Черновой вариант спекулятивного декодирования для google/gemma-4-31B, обученный с использованием метода EAGLE3 на графических процессорах NVIDIA H200 с помощью SpecForge. Заголовки проектов EAGLE3 ускоряют генерацию авторегрессии, предлагая несколько токенов за шаг, которые затем проверяется параллельно целевой моделью — достигая пропускной способности до 1,72 раза при диалоговых рабочих нагрузках без изменения качества вывода. > Важно: для этой модели требуется форк SGLang, а не официальная основная версия. Gemma-4 с EAGLE3 пока не поддерживается в основной ветке SGLang. См. инструкции по установке ниже. Gemma-4 EAGLE3 требует ответвления SGLang от ThoughtWorks. Официальный выпуск SGLang не включает поддержку Gemma-4 EAGLE3. Почему вилка? Gemma-4 пока не поддерживается в исходном SGLang. Его гибридная архитектура внимания использует headdim=512` для глобальных слоев, что несовместимо с FlashInfer. В нашем форке добавлена поддержка Gemma-4 с использованием бэкэнда внимания triton. Советы по настройке: — Для лучшей пропускной способности рекомендуется использовать графики CUDA (—enable-cuda-graph). — Для размера пакета > 1 используйте —speculative-num-steps 5 —speculative-eagle-topk 1 —speculative-num-draft-tokens 6 для оптимальной задержки. — Серверная часть внимания Triton выбирается автоматически…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: thoughtworks
Теги: llama, eagle3, speculative-decoding, sglang, draft-model, gemma, en, text-generation-inference
Лайков: 6 | Загрузок: 121
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
