Дата окончания обучения после обучения — 28 ноября 2025 года. Крайняя дата для данных перед обучением — 25 июня 2025 г.. Nemotron-3-Nano-30B-A3B-BF16 — это большая языковая модель (LLM), обученная с нуля NVIDIA и разработанная как унифицированная модель как для рассуждений, так и для задач, не связанных с рассуждениями. Он реагирует на запросы и задачи пользователя, сначала генерируя логическую цепочку, а затем заканчивая окончательным ответом. Возможности рассуждения модели можно настроить с помощью флага в шаблоне чата. Если пользователь предпочитает, чтобы модель давала окончательный ответ без промежуточных следов рассуждений, ее можно настроить на это, хотя и с небольшим снижением точности для более сложных подсказок, требующих рассуждений. И наоборот, разрешение модели сначала генерировать следы рассуждений обычно приводит к более высокому качеству окончательных решений запросов и задач. В модели используется гибридная архитектура Mixture-of-Experts (MoE), состоящая из 23 уровней Mamba-2 и MoE, а также 6 уровней внимания. Каждый уровень MoE включает 128 экспертов плюс 1 общего эксперта, при этом на каждый токен активируется 6 экспертов. Модель имеет 3,5B активных параметров и всего 30B параметров. Поддерживаемые языки: английский,…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: nvidia
Теги: nemotron_h, nvidia, conversational, custom_code, en, es, fr, de
Лайков: 651 | Загрузок: 1,076,876
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
