Это доработка модели Llama-2-13b, направленная на расширение полезного контекстного окна до 16 384 токенов с помощью интерполяции позиций (PI). Существует два этапа обучения: 1. Масштабирование эмбеддингов RoPE с коэффициентом 0,25 (линейный метод), обучение на последовательностях из 16 384 токенов из компонента «глава» набора данных BookSum. (одна эпоха, ~150 млн токенов) 2. Затем модель была дообучена на наборе данных Airoboros 2.1 Джона Дурбина с использованием того же подхода к масштабированию в течение 2 эпох. В этой модели используется линейное масштабирование RoPE, которое теперь имеет встроенную поддержку в Transformers (обязательно обновите его, если у вас возникнут проблемы). Используйте его так же, как и любой другой вариант с обычной длиной контекста. Использование Ooba: обязательно увеличьте параметр «Сократить промпт до этой длины» до 16 384, чтобы использовать все возможности контекста. Учитывая отличные результаты дообученных моделей llama-2 13b по сравнению с llama 33b, я получил несколько запросов на модель 16k, использующую новейший набор данных airoboros. Кроме того, хотя частичное масштабирование NTK, по-видимому, лучше подходит для сохранения производительности в коротком контексте, оно не поддерживается нативно в трансформаторах и, следовательно, не так доступно для менее технически подкованной аудитории. Эта модель предназначена для работы с длинным контекстом…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: bhenrym14
Теги: llama, text-generation-inference, endpoints_compatible
Лайков: 2 | Загрузок: 13
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.