EAGLE (алгоритм экстраполяции для повышения эффективности языковых моделей) — это новый базовый уровень для быстрого декодирования моделей большого языка (LLM) с доказуемым сохранением производительности. Этот подход включает экстраполяцию векторов контекстных признаков второго верхнего уровня LLM, что позволяет значительно повысить эффективность генерации. — EAGLE: — сертифицирован независимой оценкой как самый быстрый спекулятивный метод на данный момент. — достижение двукратного ускорения на gpt-fast. — В 3 раза быстрее, чем стандартное декодирование (13B). — В 2 раза быстрее, чем Lookahead (13B). — В 1,6 раза быстрее, чем Медуза (13B). — доказуемое сохранение согласованности с ванильным декодированием при распределении сгенерированных текстов. — обучаема (в течение 1-2 дней) и тестируема на 8 графических процессорах RTX 3090. Так что даже бедные графические процессоры могут себе это позволить. — комбинируется с другими параллельными методами, такими как vLLM, DeepSpeed, Mamba, FlashAttention, квантование и аппаратная оптимизация. EAGLE-2 использует показатели достоверности из предварительной модели для приблизительного определения степени приемлемости, динамически корректируя древовидную структуру проекта, что еще больше повышает производительность. — EAGLE-2: — В 4 раза быстрее, чем стандартное декодирование (13B). — В 1,4 раза быстрее, чем EAGLE-1 (13B). EAGLE-3 убирает эту функцию…
Модальности:
Генерация текста
Области применения:
Следование инструкциям
Задача: Генерация текста
Автор: yuhuili
Теги: llama, text-generation-inference, endpoints_compatible
Лайков: 6 | Загрузок: 148
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
