Модель Llama3 8B постоянно предварительно обучается с помощью LayerSkip, как показано в разделе «Пропуск слоя: включение раннего вывода вывода и самоспекулятивного декодирования», и способна выполнять самоспекулятивное декодирование: декодировать с помощью более ранних слоев и проверять с оставшимися слоями. HuggingFace пока не имеет поддержки самоспекулятивного декодирования. Однако мы можем повторно использовать функцию спекулятивного декодирования, создав черновую модель, используя подмножество слоев основной модели: обратите внимание, что это не оптимальная реализация, поскольку она требует больше памяти для сохранения весов и активаций дублированных слоев. Оптимизированная реализация, которая повторно использует более ранние уровни, находится в разделе. Если вы хотите измерить ускорение между самоспекулятивным декодированием и авторегрессионным декодированием, мы написали этот сценарий: Запустив этот сценарий на одном графическом процессоре NVIDIA A100 с трансформаторами == 4.34.1, ускорением == 1.0.1, torch == 2.2.1, triton == 2.2.0, мы получим: Наша реализация самоспекулятивного декодирования по адресу github.com/facebookresearch/LayerSkip имеет оптимизированную версию, которая не потребляет дополнительную память и повторно использует веса и KV-кеш более ранних слоев как на этапе черновика, так и на этапе проверки. Для запуска: Более подробную информацию можно найти в…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: facebook
Теги: llama, facebook, meta, llama-3, en, model-index, text-generation-inference, endpoints_compatible
Лайков: 20 | Загрузок: 347
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
