DeepSeek-V4-Flash-EAGLE3.1 — это черновой вариант спекулятивного декодирования EAGLE-3.1 для ускорения вывода DeepSeek-V4-Flash. Насколько нам известно, это первый общедоступный черновой вариант главы EAGLE-3.1 для DeepSeek V4-Flash. Это предварительный вариант исследования: показатели обучения стабильны, ускорение настенных часов составляет ~ 2,6 раза на исправленном vLLM, но для обслуживания по-прежнему требуется патч наложения vLLM (исходящий deepseekv4` не предоставляет дополнительный захват EAGLE-3). Для обучения использовался автономный EAGLE-3.1 TorchSpec (fcnorm +normaloutput) со скрытыми состояниями, извлеченными через путь извлечения скрытых состояний vLLM и наложение Maniac deepseekv4`. Метрическое соглашение: τ (длина приемки) = 1 + E[A], где E[A] — совокупная приемка на глубину (simacclen TorchSpec, глубина ограничена S). Кими ориентируется на глубину 3; мы сообщаем как S=3, так и S=7. Общее по глубине: [0,713, 0,658, 0,622, 0,610, 0,600, 0,593, 0,589] Агентное по глубине: [0,697, 0,657, 0,642, 0,638, 0,633, 0,629, 0,626] Ссылка (Кими K2.5/K2.6 EAGLE-3.1 @ глубина 3): τ ≈ 2,69 (диалог) – 3,8 (вызов функции). Эта голова находится на нижнем уровне диалога — не Кими СОТА, но сильная для меньшей цели. *Счетчик vLLM: принятые токены драфта / общее количество жетонов драфта (не идентично автономному аккаунту₀). Эваль:…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: ManiacLabs
Теги: llama, speculative-decoding, eagle3, eagle3.1, draft-model, deepseek-v4, deepseek-v4-flash, text-generation-inference
Лайков: 6 | Загрузок: 217
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
