Это черновой вариант модели EAGLE3, обученный с нуля (случайная инициализация) с использованием структуры обучения времени вывода Aurora для спекулятивного декодирования. В отличие от традиционных подходов, которые настраивают предварительно обученные модели, эта модель полностью создается с помощью процесса онлайн-обучения Aurora. Модель оптимизирована для создания высококачественных черновых токенов для целевой модели Qwen/Qwen3-Coder-Next-FP8, что обеспечивает значительное ускорение выполнения задач генерации кода. — Подход к обучению: обучение с нуля (случайная инициализация) — предварительное обучение не требуется. — Структура: обучение с помощью Aurora — усовершенствованная система обучения во время вывода. — Архитектура: черновая модель спекулятивного декодирования EAGLE3. — Целевая модель: Qwen/Qwen3-Coder-Next-FP8. — Данные обучения: набор данных кода OnlineSD. 80 000 запросов на логический вывод. Модель: Qwen/Qwen3-Coder-Next-FP8. Тип: языковая модель генерации кода. Точность: квантование FP8. Область: программирование и синтез кода. Проект модели учится предсказывать распределение токенов целевой модели во время обучения во время вывода, обеспечивая эффективное спекулятивное декодирование. Этот…
Модальности:
Генерация текста
Области применения:
Генерация кода
Задача: Генерация текста
Автор: togethercomputer
Теги: llama, speculative-decoding, eagle, aurora, inference-time-training, code-generation, en
Лайков: 19 | Загрузок: 919
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
