NVIDIA Nemotron-H-8B-Base-8K — это модель большого языка (LLM), разработанная NVIDIA и предназначенная для завершения модели заданного фрагмента текста. Он использует архитектуру гибридной модели, которая состоит в основном из слоев Mamba-2 и MLP в сочетании всего с четырьмя уровнями внимания. Модель имеет длину контекста 8K. Поддерживаемые языки: английский, немецкий, испанский, французский, итальянский, корейский, португальский, русский, японский и китайский. Более подробную информацию об архитектуре модели, обучении и оценке можно найти на странице проекта и в техническом отчете. Для достижения наилучшей производительности при выполнении конкретной задачи пользователям рекомендуется настраивать модель с помощью набора инструментов настройки NeMo Framework, включая эффективную точную настройку параметров (P-настройка, адаптеры, LoRA и т. д.) и выравнивание модели (SFT, SteerLM, RLHF и т. д.) с использованием NeMo-Aligner. Эта модель входит в коллекцию Nemotron-H. Модели этого семейства можно найти здесь: — Nemotron-H-56B-Base-8K — Nemotron-H-47B-Base-8K — Nemotron-H-8B-Base-8K РЕГУЛИРУЮЩИЕ УСЛОВИЯ: Использование этой модели регулируется внутренней лицензией NVIDIA на научные исследования и разработки. Данная модель предназначена для разработчиков…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: nvidia
Теги: nvidia, nemotron-h, conversational, en, de, es, fr, it
Лайков: 55 | Загрузок: 23,972
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
