LLaMA-2-7B-32K — это языковая модель с длинным контекстом с открытым исходным кодом, разработанная Together и доработанная на основе оригинальной модели Llama-2 7B от Meta. Эта модель представляет собой наши усилия по содействию быстрому развитию экосистемы с открытым исходным кодом для больших языковых моделей. Модель была расширена до длины контекста 32 КБ с позиционной интерполяцией, что позволяет применять приложения для контроля качества нескольких документов, обобщения длинных текстов и т. д. В этой модели представлено несколько улучшений и новых функций: 1. Расширенный контекст: модель обучена обрабатывать контексты длиной до 32 КБ, что является значительным улучшением по сравнению с предыдущими версиями. 2. Предварительное обучение и настройка инструкций. Мы поделились нашим рецептом данных, который состоит из смеси данных предварительного обучения и настройки инструкций. 3. Примеры тонкой настройки. Мы приводим примеры тонкой настройки модели для конкретных приложений, включая обобщение книг и длинные контекстные вопросы и ответы. 4. Поддержка программного обеспечения. Мы обновили стек вывода и обучения, чтобы обеспечить эффективный вывод и точную настройку для контекста 32 КБ. Модель повторяет архитектуру Llama-2-7B и расширяет ее для обработки более длинного контекста. Он использует недавно…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: togethercomputer
Теги: llama, en, text-generation-inference, endpoints_compatible
Лайков: 538 | Загрузок: 2,882
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
