Оптимизация памяти и рецепты обучения для экстраполяции длины контекста языковых моделей до 1 миллиона токенов с минимальным аппаратным обеспечением. Это контекстно-экстраполированная базовая модель. Он не подвергался точной настройке. Эта модель настроена на базе h2oai/h2o-danube2-1.8b с помощью EasyContext и длины контекста 256 КБ. Обратите внимание, что я сохраняю значение maxpositionembeddings в config.json равным 4096, поскольку HF llama создаст двумерную причинную маску во время инициализации. Если установлено значение 256K, графический процессор будет просто OOM. Вы наверняка можете использовать эту модель с длиной контекста более 4096.
Модальности:
Генерация текста
Задача: Генерация текста
Автор: PY007
Теги: llama, text-generation-inference, endpoints_compatible
Лайков: 5 | Загрузок: 9
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
