NVIDIA Nemotron-H-47B-Base-8K — это модель большого языка (LLM), разработанная NVIDIA и предназначенная для завершения модели заданного фрагмента текста. Он использует архитектуру гибридной модели, которая состоит в основном из слоев Mamba-2 и MLP в сочетании всего с пятью уровнями внимания. Модель сокращена и дистиллирована из Nemotron-H-56B-Base-8K с использованием токенов 63B и имеет длину контекста 8K. Поддерживаемые языки: английский, немецкий, испанский, французский, итальянский, корейский, португальский, русский, японский и китайский. Более подробную информацию об архитектуре модели, обучении и оценке можно найти на странице проекта и в техническом отчете. Для достижения наилучшей производительности при выполнении конкретной задачи пользователям рекомендуется настраивать модель с помощью набора инструментов настройки NeMo Framework, включая эффективную точную настройку параметров (P-настройка, адаптеры, LoRA и т. д.) и выравнивание модели (SFT, SteerLM, RLHF и т. д.) с использованием NeMo-Aligner. Эта модель входит в коллекцию Nemotron-H. Модели этого семейства можно найти здесь: — Nemotron-H-56B-Base-8K — Nemotron-H-47B-Base-8K — Nemotron-H-8B-Base-8K РЕГУЛИРУЮЩИЕ УСЛОВИЯ: Использование этой модели регулируется внутренними научными исследованиями NVIDIA и…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: nvidia
Теги: nvidia, nemotron-h, en, de, es, fr, it, ko
Лайков: 22 | Загрузок: 3,839
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
