NVIDIA Nemotron-H-4B-Instruct-128K — это модель большого языка (LLM), разработанная NVIDIA и оптимизированная для одно- и многоходового чата, выполнения инструкций и вариантов использования инструментов. Он использует архитектуру гибридной модели, которая состоит в основном из слоев Mamba-2 и MLP в сочетании всего с четырьмя уровнями внимания. Модель представляет собой согласованную версию Nemotron-H-4B-Base-8K и имеет длину контекста 128 КБ. Поддерживаемые языки: английский, немецкий, испанский, французский, итальянский, корейский, португальский, русский, японский и китайский. Модель прошла многоэтапный процесс постобучения, включающий несколько контролируемых этапов точной настройки для математики, кода, науки, а затем чата, следования инструкциям и вызова инструментов, за которыми следовали несколько этапов настройки предпочтений с использованием оптимизации предпочтений с учетом вознаграждения (RPO) как для чата, так и для следования инструкциям. Базовая модель была сокращена и очищена от Nemotron-H-Base-8K с использованием нашей методики сжатия гибридной языковой модели. Более подробную информацию можно найти в документе. Статья была принята к публикации на NeurIPS 2025. РЕГУЛИРУЮЩИЕ УСЛОВИЯ: Использование этой модели регулируется внутренней лицензией NVIDIA на модель научных исследований и разработок —…
Модальности:
Генерация текста
Области применения:
Диалог / чат Следование инструкциям
Задача: Генерация текста
Автор: nvidia
Теги: nvidia, conversational, en, endpoints_compatible
Лайков: 10 | Загрузок: 1,590
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
