NVIDIA Nemotron-H-4B-Base-8K — это модель большого языка (LLM), разработанная NVIDIA и предназначенная для завершения модели заданного фрагмента текста. Он использует архитектуру гибридной модели, которая состоит в основном из слоев Mamba-2 и MLP в сочетании всего с четырьмя уровнями внимания. Модель сокращена и дистиллирована из Nemotron-H-8B-Base-8K с использованием токенов 380B и имеет длину контекста 8K. Поддерживаемые языки: английский, немецкий, испанский, французский, итальянский, корейский, португальский, русский, японский и китайский. Для достижения наилучшей производительности при выполнении конкретной задачи пользователям рекомендуется настраивать модель с помощью набора инструментов настройки NeMo Framework, включая эффективную точную настройку параметров (P-настройка, адаптеры, LoRA и т. д.) и выравнивание модели (SFT, SteerLM, RLHF и т. д.) с использованием NeMo-Aligner. Модель была сокращена и очищена от Nemotron-H-Base-8K с использованием нашей методики сжатия гибридной языковой модели, а затем доработана до Nemotron-H-4B-Instruct-128K. Более подробную информацию можно найти в документе. Статья была принята к публикации на NeurIPS 2025. РЕГУЛИРУЮЩИЕ УСЛОВИЯ: Использование этой модели регулируется внутренней лицензией NVIDIA на модель научных исследований и разработок —…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: nvidia
Теги: nvidia, en, endpoints_compatible
Лайков: 7 | Загрузок: 13,230
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
