NVIDIA Nemotron-H-56B-Base-8K — это модель большого языка (LLM), разработанная NVIDIA и предназначенная для завершения модели заданного фрагмента текста. Он использует гибридную архитектуру модели, которая состоит в основном из слоев Mamba-2 и MLP в сочетании всего с десятью уровнями внимания. Модель имеет длину контекста 8K. Поддерживаемые языки: английский, немецкий, испанский, французский, итальянский, корейский, португальский, русский, японский и китайский. Более подробную информацию об архитектуре модели, обучении и оценке можно найти на странице проекта и в техническом отчете. Для достижения наилучшей производительности при выполнении конкретной задачи пользователям рекомендуется настраивать модель с помощью набора инструментов настройки NeMo Framework, включая эффективную точную настройку параметров (P-настройка, адаптеры, LoRA и т. д.) и выравнивание модели (SFT, SteerLM, RLHF и т. д.) с использованием NeMo-Aligner. Эта модель входит в коллекцию Nemotron-H. Модели этого семейства можно найти здесь: — Nemotron-H-56B-Base-8K — Nemotron-H-47B-Base-8K — Nemotron-H-8B-Base-8K РЕГУЛИРУЮЩИЕ УСЛОВИЯ: Использование этой модели регулируется внутренней лицензией NVIDIA на научные исследования и разработки. Данная модель предназначена для разработчиков…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: nvidia
Теги: nvidia, nemotron-h, en, de, es, fr, it, ko
Лайков: 33 | Загрузок: 12,902
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
