Llama-3.3-Nemotron-Super-49B-v1.5-NVFP4 — это значительно обновленная версия Llama-3.3-Nemotron-Super-49B-v1 и модель большого языка (LLM), которая является производной от Meta Llama-3.3-70B-Instruct (также известная как эталонная модель). Это модель рассуждения, которая после обучения обрабатывается для рассуждений, предпочтений человеческого чата и агентских задач, таких как RAG и вызов инструментов. Модель поддерживает длину контекста в 128 тыс. токенов. Llama-3.3-Nemotron-Super-49B-v1.5-NVFP4 — это модель, которая предлагает отличный компромисс между точностью модели и эффективностью. Эффективность (пропускная способность) напрямую приводит к экономии. Используя новый подход поиска по нейронной архитектуре (NAS), мы значительно сокращаем объем памяти модели, позволяя выполнять более крупные рабочие нагрузки, а также помещая модель на один графический процессор при высоких рабочих нагрузках (H200). Этот подход NAS позволяет выбрать желаемую точку в компромиссе между точностью и эффективностью. Для получения дополнительной информации о подходе NAS обратитесь к этому документу. Модель прошла многоэтапный процесс постобучения, чтобы улучшить ее возможности как рассуждения, так и отсутствия рассуждений. Сюда входит этап контролируемой тонкой настройки математики, кода, естественных наук и вызова инструментов. Кроме того, модель прошла…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: nvidia
Теги: nemotron-nas, nvidia, llama-3, conversational, custom_code, en, 8-bit
Лайков: 17 | Загрузок: 11,454
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
