Оптимизация памяти и рецепты обучения для экстраполяции длины контекста языковых моделей до 1 миллиона токенов с минимальным оборудованием. Это контекстно-экстраполированная базовая модель. Он не подвергался точной настройке. Эта модель точно настроена на основе Llama-2-7B-hf с EasyContext для длины контекста 512 КБ и обобщена до 1 млн токенов. Обратите внимание, что я сохраняю значение maxpositionembeddings в config.json равным 4096, поскольку HF llama создаст двумерную причинную маску во время инициализации. Если установлено значение 1M, GPU будет просто OOM. Вы наверняка можете использовать эту модель с длиной контекста более 4096.
Модальности:
Генерация текста
Задача: Генерация текста
Автор: PY007
Теги: llama, text-generation-inference, endpoints_compatible
Лайков: 4 | Загрузок: 9
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
