NVIDIA Nemotron-H-47B-Reasoning-128K — это модель большого языка (LLM), разработанная NVIDIA и предназначенная как унифицированная модель для задач рассуждения и задач, не связанных с рассуждением. Она отвечает на запросы и задачи пользователя, сначала генерируя трассировку рассуждения, а затем завершая окончательным ответом. Возможностями рассуждения модели можно управлять с помощью системной подсказки. Если пользователь предпочитает, чтобы модель давала окончательный ответ без промежуточных следов рассуждений, ее можно настроить на это, хотя и с небольшим снижением точности для более сложных подсказок, требующих рассуждений. И наоборот, разрешение модели сначала генерировать следы рассуждений обычно приводит к более высокому качеству окончательных решений запросов и задач. Модель использует гибридную архитектуру, состоящую в основном из слоев Mamba-2 и MLP в сочетании всего с пятью уровнями внимания. Он основан на Nemotron-H-47B-Base-8K, который представляет собой сокращенную и дистиллированную версию Nemotron-H-56B-Base-8K. Поддерживаемые языки: английский, немецкий, испанский, французский, итальянский, корейский, португальский, русский, японский и китайский. Мы предоставляем контрольную точку BF16, которую можно использовать с HuggingFace-Transformers или TensorRT-LLM, а также контрольную точку FB8, которую можно использовать с…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: nvidia
Теги: nvidia, conversational, en, endpoints_compatible
Лайков: 22 | Загрузок: 3,590
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
