Nous Hermes 2 Llama-2 70B — новейшая модель, обученная Nous Research на наборе данных Hermes 2. Модель была обучена на более чем 1 000 000 записей, в основном данных, сгенерированных GPT-4, а также других высококачественных данных из открытых наборов данных в сфере ИИ. Nous Hermes 2 использует ChatML в качестве формата подсказок, открывая гораздо более структурированную систему для вовлечения LLM в многоходовой диалог в чате. Системные подсказки обеспечивают управляемость и новые интересные способы взаимодействия с LLM, определяя правила, роли и стилистический выбор модели. Это более сложный формат, чем альпака или шарегпт, где были добавлены специальные жетоны для обозначения начала и конца любого хода, а также роли для ходов. Этот формат обеспечивает совместимость конечных точек OpenAI, и люди, знакомые с API ChatGPT, будут знакомы с этим форматом, поскольку он тот же, что используется OpenAI. Запрос с системной инструкцией (Используйте любой системный запрос, который вам нравится, это всего лишь пример!). Этот запрос доступен в виде шаблона чата, что означает, что вы можете форматировать сообщения с помощью метода tokenizer.applychattemplate(): При токенизации сообщений для генерации установите addgenerationprompt=True при вызове applychattemplate(). Это будет…
Модальности:
Генерация текста
Области применения:
Следование инструкциям
Задача: Генерация текста
Автор: NousResearch
Теги: llama, Llama, instruct, finetune, chatml, gpt4, synthetic data, distillation
Лайков: 19 | Загрузок: 808
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
