Мы представляем Llama3-ChatQA-2, набор 128 тыс. моделей с длинным контекстом, который устраняет разрыв между LLM с открытым исходным кодом и ведущими проприетарными моделями (например, GPT-4-Turbo) в возможностях понимания длительного контекста и генерации с расширенным поиском (RAG). Llama3-ChatQA-2 разработан с использованием улучшенного рецепта обучения из статьи ChatQA-1.5 и построен на основе базовой модели Llama-3. В частности, мы продолжили обучение базовых моделей Llama-3 для расширения контекстного окна с 8 КБ до 128 КБ токенов, а также трехэтапный процесс настройки инструкций для улучшения следования инструкциям модели, производительности RAG и возможностей понимания длинного контекста. Llama3-ChatQA-2 имеет два варианта: Llama3-ChatQA-2-8B и Llama3-ChatQA-2-70B. Обе модели изначально обучались с помощью Megatron-LM, чекпоинты мы конвертировали в формат Hugging Face. Для получения дополнительной информации о ChatQA 2 посетите сайт! Llama3-ChatQA-2-70B Оценочные данные Данные обучения Веб-сайт Документ Мы оцениваем ChatQA 2 на тесте RAG с коротким контекстом (ChatRAG) (в пределах 4 КБ токенов), длинных контекстных задачах из SCROLLS и LongBench (в пределах 32 000 токенов) и сверхдлинных контекстных задачах из InfiniteBench (свыше 100 000…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: nvidia
Теги: llama, nvidia, chatqa-2, chatqa, llama-3, conversational, en
Лайков: 17 | Загрузок: 1,025
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
