Мы представляем Nemotron-UltraLong-8B, серию языковых моделей со сверхдлинным контекстом, предназначенных для обработки обширных последовательностей текста (до 1M, 2M и 4M токенов), сохраняя при этом конкурентоспособную производительность в стандартных тестах. Созданный на базе Llama-3.1, UltraLong-8B использует рецепт систематического обучения, который сочетает в себе эффективное непрерывное предварительное обучение с настройкой инструкций для улучшения понимания длительного контекста и возможностей следования инструкциям. Такой подход позволяет нашим моделям эффективно масштабировать контекстные окна без ущерба для общей производительности. — nvidia/Llama-3.1-Nemotron-8B-UltraLong-1M-Instruct — nvidia/Llama-3.1-Nemotron-8B-UltraLong-2M-Instruct — nvidia/Llama-3.1-Nemotron-8B-UltraLong-4M-Instruct Начиная с Transformers >= 4.43.0 и далее, вы можете запускать диалоговый вывод используя абстракцию конвейера Transformers или используя классы Auto с функциейgenerate(). Обязательно обновите установку трансформаторов с помощью pip install —upgrade Transformers. Базовая модель: мета-лама/Llama-3.1-8B-Instruct Продолжение предварительного обучения: данные обучения состоят из 1B токенов, полученных из корпуса предварительного обучения с использованием повышения дискретизации для каждого домена на основе выборки…
Модальности:
Генерация текста
Области применения:
Диалог / чат Следование инструкциям
Задача: Генерация текста
Автор: nvidia
Теги: llama, conversational, en, text-generation-inference, endpoints_compatible
Лайков: 120 | Загрузок: 90
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
