LongLoRA: Efficient Fine-tuning of Long-Context Large Language Models [Paper] Yukang Chen, Shengju Qian, Haotian Tang, Xin Lai, Zhijian Liu, Song Han, Jiaya Jia Мы представляем LongLoRA, эффективный подход к тонкой настройке, который расширяет размеры контекста предварительно обученных больших языковых моделей (LLM) с ограниченными затратами на вычисления. Как правило, обучение LLM с длинными размерами контекста является дорогостоящим с вычислительной точки зрения, требуя обширных учебных часов и ресурсов графического процессора. В этой статье мы ускоряем расширение контекста LLM в двух аспектах. С одной стороны, хотя во время вывода требуется плотное глобальное внимание, тонкая настройка модели может быть эффективно и действенно выполнена за счет скудного местного внимания. Предлагаемое короткое внимание сдвига эффективно обеспечивает расширение контекста, что приводит к нетривиальной экономии вычислений с производительностью, аналогичной тонкой настройке с ванильным вниманием. С другой стороны, мы находим, что LoRA для расширения контекста хорошо работает в условиях обучаемого встраивания и нормализации. LongLoRA демонстрирует сильные эмпирические результаты по различным задачам на моделях LLaMA2 от 7B/13B до 70B. LongLoRA принимает LLaMA2 7B из контекста 4k до 100k или LLaMA2 70B до 32k на одном 8x A100…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: Yukang
Теги: llama, text-generation-inference, endpoints_compatible
Лайков: 3 | Загрузок: 55
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
