Крайняя дата данных после обучения — февраль 2026 года. Крайняя дата данных предварительного обучения — декабрь 2025 года. Nemotron-3-Super-120B-A12B-Base — это базовая модель большого языка (LLM), обученная с нуля NVIDIA, с потерей прогноза следующего токена. Он обеспечивает хорошую стартовую платформу для дальнейшего обучения, включая выполнение инструкций и программирование. В модели используется гибридная архитектура «Скрытая смесь экспертов» (LatentMoE), в которой используются чередующиеся уровни Mamba-2 и MoE, а также выбранные уровни внимания. В отличие от модели Nano, модель Super включает слои мультитокенного прогнозирования (MTP) для более быстрого создания текста и повышения качества, а также обучается с использованием квантования NVFP4 для максимизации эффективности вычислений. Модель имеет 12B активных параметров и всего 120B параметров. Поддерживаемые языки: английский, испанский, французский, немецкий, японский, итальянский, китайский, арабский, иврит, хинди, корейский, чешский, датский, голландский, финский, польский, португальский, тайский, шведский и русский. NVIDIA Nemotron™ — это семейство открытых моделей с открытыми весами, обучающими данными и рецептами, обеспечивающее высочайшую эффективность и точность для создания специализированных агентов ИИ. Использование этой модели…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: nvidia
Теги: nemotron_h, nvidia, nemotron-3, latent-moe, mtp, custom_code, en, es
Лайков: 26 | Загрузок: 14,303
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
