Llama-3.1-Nemotron-Ultra-253B-CPT-v1 — это модель большого языка (LLM), которая является производной от Meta Llama-3.1-405B-Instruct (также известной как родительская модель). Эта модель поддерживает длину контекста в 128 КБ токенов и подходит для одного узла 8xH100 для вывода. Хотя модель была создана на основе Llama-3.1-405B-Instruct, она прошла значительную постоянную предварительную подготовку (CPT). Этот вариант CPT можно рассматривать как «переработанную» производную Llama-3.1-405B-Instruct. Llama-3.1-Nemotron-Ultra-253B-v1 — это модель, предлагающая отличный компромисс между точностью модели и эффективностью. Эффективность (пропускная способность) напрямую приводит к экономии. Используя новый подход поиска по нейронной архитектуре (NAS), мы значительно сокращаем объем памяти, занимаемый моделью, позволяя выполнять более крупные рабочие нагрузки, а также сокращая количество графических процессоров, необходимых для запуска модели в среде центра обработки данных. Этот подход NAS позволяет выбрать желаемую точку в компромиссе между точностью и эффективностью. Кроме того, использование нового метода вертикального сжатия модели (подробности см. здесь) также позволяет значительно сократить задержку. Данная модель послужила основой для создания Llama-3.1-Nemotron-Ultra-253B-v1, входящего в состав проекта Llama-3.1-Nemotron-Ultra-253B-v1.
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: nvidia
Теги: nemotron-nas, nvidia, llama-3, conversational, custom_code, en
Лайков: 6 | Загрузок: 137
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
