Эта модель представляет собой точно настроенную версию собственного модуля MTP DeepSeek-V3, оптимизированного для спекулятивного декодирования с использованием потерь LK — целей обучения, которые напрямую нацелены на коэффициент принятия, а не на использование дивергенции KL в качестве прокси. Оригинальный модуль DeepSeek-V3 MTP был обучен в основном для прогнозирования первого маркера и повторно использовался авторегрессионно для более поздних позиций, вызывая ухудшение показателей принятия на более поздних позициях драфта. Наша тонкая настройка устраняет это несоответствие, существенно улучшая эффективность спекуляции несколькими токенами. — Базовая модель: deepseek-ai/DeepSeek-V3-0324 — Архитектура проекта: MTP — Данные обучения: Infinity-Instruct-0625 с ответами, генерируемыми DeepSeek-V3 — Цель обучения: Гибридная потеря LK с адаптивным планированием λ (η=3) — Обучение: 1 эпоха от предварительно обученных весов MTP — Длина проекта: K = 6 спекулятивных токенов Средняя длина принятия (τ), измеренная в MT-bench, HumanEval и GSM8K с K = 7: > Примечание: более ранние версии vLLM жадно отбирали маркеры проекта независимо от температуры, Стохастическая выборка была введена в v0.18.0, а с v0.21.0 ее можно включить с помощью спекулятивной конфигурации с использованием метода rejectionsamplemethod…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: nebius
Теги: deepseek_v3, speculative-decoding, draft-model, mtp, deepseek, inference-acceleration, model-index, text-generation-inference
Лайков: 3 | Загрузок: 108
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
