Это модель проекта EAGLE3, обученная с нуля (случайная инициализация) с использованием структуры обучения времени вывода Aurora для спекулятивного декодирования. В отличие от традиционных подходов, которые тонко настраивают предварительно подготовленные модели, эта модель полностью строится через процесс онлайн-обучения Aurora. Модель оптимизирована для генерации высококачественных маркеров драфта для целевой модели MiniMax M2.1, достигая значительных ускорений при различных размерах партии. — Подход к обучению: обучение с нуля (случайная инициализация) — предварительное обучение не требуется — Основа: обучение с помощью Aurora — продвинутая система обучения времени вывода — Архитектура: спекулятивная модель декодирования EAGLE3 — Целевая модель: MiniMax M2.1 — Производительность: достигает 2,62 средней длины принятия с Lookahead 4 (рекомендуемая конфигурация) — Обучение: 44 000 запросов вывода на графическом процессоре NVIDIA H200 — Ускорение: до 1,58раз при размере партии 1 (Lookahead 3), 1,57раз
Модальности:
Генерация текста
Задача: Генерация текста
Автор: togethercomputer
Теги: llama, speculative-decoding, eagle, aurora, inference-time-training, general-purpose, en
Лайков: 3 | Загрузок: 261
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
