Это черновой вариант модели EAGLE3, обученный с нуля (случайная инициализация) с использованием структуры обучения времени вывода Aurora для спекулятивного декодирования. В отличие от традиционных подходов, которые настраивают предварительно обученные модели, эта модель полностью создается с помощью процесса онлайн-обучения Aurora. Модель оптимизирована для создания высококачественных черновых токенов для целевой модели MiniMax M2.5, что обеспечивает значительное ускорение при различных размерах пакетов. — Подход к обучению: обучение с нуля (случайная инициализация) — предварительное обучение не требуется. — Структура: обучение с помощью Aurora — усовершенствованная система обучения во время вывода. — Архитектура: черновая модель спекулятивного декодирования EAGLE3. — Целевая модель: MiniMax M2.5. — Производительность: средняя длина приема 2,62 с упреждающим просмотром 4 (рекомендуемая конфигурация). — Обучение: 44 000 запросов вывода на графическом процессоре NVIDIA H200. — Ускорение: Ускорение до 1,58× при размере пакета 1 (упреждающий просмотр 3), 1,57× с упреждающим просмотром 4 (рекомендуется) – Модель: MiniMax M2.5 – Тип: языковая модель общего назначения – Область применения: широкое понимание и генерация языка. Проект модели учится прогнозировать распределение токенов целевой модели во время обучения во время вывода, что позволяет эффективно…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: togethercomputer
Теги: llama, speculative-decoding, eagle, aurora, inference-time-training, general-purpose, en
Лайков: 6 | Загрузок: 25
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
