Модель Code Llama 7B постоянно предварительно обучается с помощью LayerSkip, как показано в разделе «Пропуск слоя: включение раннего вывода и самоспекулятивного декодирования», и способна выполнять самоспекулятивное декодирование: декодировать с помощью более ранних слоев и проверять с оставшимися слоями. HuggingFace пока не имеет поддержки самоспекулятивного декодирования. Однако мы можем повторно использовать функцию спекулятивного декодирования, создав черновую модель, используя подмножество слоев основной модели: обратите внимание, что это не оптимальная реализация, поскольку она требует больше памяти для сохранения кэша KV и активации дублированных слоев. Оптимизированная реализация, которая повторно использует более ранние уровни, находится в нашей специальной реализации или в нашей быстрой реализации gpt. Если вы хотите измерить ускорение между самоспекулятивным декодированием и авторегрессионным декодированием, мы написали этот сценарий: Запустив этот сценарий на одном графическом процессоре NVIDIA A100 с трансформаторами == 4.34.1, torch == 2.2.1, triton == 2.2.0, мы получим: Наша реализация самоспекулятивного декодирования на github.com/facebookresearch/LayerSkip имеет оптимизированную версию, которая не потребляет дополнительную память. и повторно использует веса и кэш KV предыдущих слоев как в черновике, так и в…
Модальности:
Генерация текста
Области применения:
Генерация кода
Задача: Генерация текста
Автор: facebook
Теги: llama, facebook, meta, llama-2, code, en, model-index, text-generation-inference
Лайков: 6 | Загрузок: 1
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
