NVIDIA Nemotron-Elastic-12B — это модель большого языка (LLM), разработанная NVIDIA для исследовательских целей. В этой модели используется гибридная архитектура, состоящая в основном из слоев Mamba-2 и MLP в сочетании всего с четырьмя уровнями внимания, предназначенная для обеспечения эластичного вывода посредством извлечения вложенных моделей. Модель была подвергнута послеобучению на NVIDIA-Nemotron-Nano-12B-v2 и включает в себя расширенные возможности рассуждения и оптимизирована для математических и научных задач. Ключевым нововведением этой модели является ее эластичная архитектура, которая позволяет извлекать меньшие вложенные варианты (параметры 6B и 9B) из одного и того же пространства параметров без необходимости отдельных запусков обучения. Для получения более подробной информации, пожалуйста, обратитесь к полной версии статьи. На рисунке ниже показаны общие процессы обучения и развертывания Nemotron-Elastic. Этот подход обеспечивает значительные преимущества по сравнению с традиционными методами сжатия модели: Экономия обучающих токенов: Nemotron Elastic обеспечивает сокращение обучающих токенов в 7,2 раза по сравнению с традиционными методами сжатия. Хотя такие подходы, как Minitron, требуют отдельных этапов исследования и дистилляции знаний для каждого целевого размера (750 миллиардов токенов для вариантов 6B + 9B),…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: nvidia
Теги: nvidia, research, elastic, conversational, en, endpoints_compatible
Лайков: 58 | Загрузок: 82
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
