LongLoRA: эффективная точная настройка моделей большого языка с длинным контекстом [Документ] Юкан Чен, Шэнджу Цянь, Хаотянь Тан, Синь Лай, Чжицзянь Лю, Сун Хан, Цзя Цзя Мы представляем LongLoRA, эффективный подход тонкой настройки, который расширяет размеры контекста предварительно обученных моделей большого языка (LLM) с ограниченными вычислительными затратами. Как правило, обучение LLM с длинными размерами контекста требует больших вычислительных затрат и требует больших часов обучения и ресурсов графического процессора. В этой статье мы ускоряем контекстное расширение LLM в двух аспектах. С одной стороны, хотя во время вывода требуется пристальное глобальное внимание, тонкую настройку модели можно эффективно и результативно выполнить за счет небольшого локального внимания. Предложенный сдвиг короткого внимания эффективно обеспечивает расширение контекста, что приводит к экономии нетривиальных вычислений с производительностью, аналогичной точной настройке с обычным вниманием. С другой стороны, мы обнаружили, что LoRA для расширения контекста хорошо работает при условии обучаемого встраивания и нормализации. LongLoRA демонстрирует сильные эмпирические результаты при выполнении различных задач на моделях LLaMA2 от 7B/13B до 70B. LongLoRA использует LLaMA2 7B от контекста 4 КБ до 100 КБ или LLaMA2 70B до 32 КБ на одном 8x A100…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: Yukang
Теги: llama, endpoints_compatible
Лайков: 7 | Загрузок: 4
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
