Это пока не поддерживает вывод. Все, что я сделал, — это уменьшил нагрузку на архитектуру NVIDIA NeMo, чтобы люди умнее меня могли получить преимущество в том, чтобы заставить ее работать с другими бэкэндами. Nemotron-4-340B-Instruct — это большая языковая модель (LLM), которую можно использовать как часть конвейера генерации синтетических данных для создания обучающих данных, которые помогают исследователям и разработчикам создавать свои собственные LLM. Это доработанная версия модели Nemotron-4-340B-Base, оптимизированная для одно- и многооборотных чатов на английском языке. Он поддерживает длину контекста 4096 токенов. Базовая модель была предварительно обучена на корпусе из 9 триллионов токенов, состоящем из разнообразного набора текстов на английском языке, более чем 50 естественных языков и более чем 40 языков кодирования. Впоследствии модель Nemotron-4-340B-Instruct прошла дополнительные этапы согласования, включая: — Контролируемую точную настройку (SFT) — Прямую оптимизацию предпочтений (DPO) — Оптимизацию предпочтений с учетом вознаграждения (RPO) (дополнительная собственная методика выравнивания). На протяжении всего процесса согласования мы полагались только на около 20 тысяч данных, аннотированных человеком, в то время как наш конвейер генерации данных синтезировал более 98% данных, используемых для контролируемой точной настройки. и…
Модальности:
Генерация текста
Области применения:
Следование инструкциям
Задача: Генерация текста
Автор: failspy
Теги: nemotron, endpoints_compatible
Лайков: 22 | Загрузок: 19
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
