Мы расширяем длину контекста Llama-3-8B-Instruct до 80 КБ, используя QLoRA, и 3,5 КБ данных обучения с длинным контекстом, синтезированных из GPT-4. Весь тренировочный цикл очень эффективен и занимает 8 часов на тренажере 8xA800 (80G). Тем не менее, полученная модель демонстрирует замечательные результаты в ряде последующих тестов долгоконтекстной оценки. Все последующие результаты оценки основаны на НЕКВАНТОВАННОЙ МОДЕЛИ. Их можно воспроизвести, следуя инструкциям здесь. Однако после квантования вы можете наблюдать ухудшение качества. Оцениваем модель на задаче Needle-In-A-HayStack, используя официальную настройку. Синяя вертикальная линия указывает длину контекста обучения, т. е. 80 КБ. Мы оцениваем модель на LongBench, используя длину контекста 32 КБ и официальный шаблон подсказки. Для мета-ламы/Мета-ламы-3-8B-Instruct мы используем длину контекста 8 КБ. Мы оцениваем модель на InfiniteBench, используя длину контекста 80 КБ и официальный шаблон подсказки. Результаты GPT-4 скопированы из статьи. Для мета-ламы/Мета-ламы-3-8B-Instruct мы используем длину контекста 8 КБ. Мы оцениваем модель в задаче поиска тем с [5,10,15,20,25,30,40,50,60,70] темами. Мы оцениваем производительность модели с нулевым выстрелом на…
Модальности:
Генерация текста
Области применения:
Диалог / чат Следование инструкциям
Задача: Генерация текста
Автор: namespace-Pt
Теги: gguf, endpoints_compatible, conversational
Лайков: 4 | Загрузок: 28
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
