Мы расширяем длину контекста Llama-3-8B-Instruct до 80 КБ, используя QLoRA, и 3,5 КБ данных обучения с длинным контекстом, синтезированных из GPT-4. Весь тренировочный цикл очень эффективен и занимает 8 часов на тренажере 8xA800 (80G). Тем не менее, полученная модель демонстрирует замечательные результаты в ряде последующих тестов долгоконтекстной оценки. Все последующие результаты оценки можно воспроизвести здесь, следуя инструкциям. Оцениваем модель на задаче Needle-In-A-HayStack, используя официальную настройку. Синяя вертикальная линия указывает длину контекста обучения, т. е. 80 КБ. Мы оцениваем модель на LongBench, используя длину контекста 32 КБ и официальный шаблон подсказки. Для мета-ламы/Мета-ламы-3-8B-Instruct мы используем длину контекста 8 КБ. Мы оцениваем модель на InfiniteBench, используя длину контекста 80 КБ и официальный шаблон подсказки. Результаты GPT-4 скопированы из статьи. Для мета-ламы/Мета-ламы-3-8B-Instruct мы используем длину контекста 8 КБ. Мы оцениваем модель в задаче поиска тем с [5,10,15,20,25,30,40,50,60,70] темами. Мы оцениваем нулевую производительность модели в тесте MMLU как отражение ее возможностей в коротком контексте. Вы можете увидеть сообщения типа: Это…
Модальности:
Генерация текста
Области применения:
Диалог / чат Следование инструкциям
Задача: Генерация текста
Автор: namespace-Pt
Теги: llama, conversational, text-generation-inference, endpoints_compatible
Лайков: 12 | Загрузок: 11
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
