Avibe-eagle — это реализация спекулятивного декодирования на основе алгоритма EAGLE-3 для моделей Avibe. Модель создана командой Авито Тех для ускорения генерации сигнала 8B модели без потери качества. Для обучения драфт-модели мы использовали около 100 млн токенов из SFT-датасета, который использовался для обучения исходной модели avibe. Примеры были выбраны исключительно на английском языке, с сохранением доменной и стилевой противоположности к основным моделям. Результаты внутренних замеров, заключающиеся в том, что использование eagle-3 через sglang в различных сетапах (разное количество предсказываемых токенов, разные top-k и т.д) в разных запросах обеспечивают ускорение до 2,7х, постепенное снижение и становится нулевым при Batch_size = 64. Модель можно запустить с использованием популярных движков vllm и sglang Пример запроса с используемым OpenAI-API точно такой же, как и для vllm
Модальности:
Генерация текста
Задача: Генерация текста
Автор: AvitoTech
Теги: llama, Eagle, ru, en
Лайков: 6 | Загрузок: 146
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
