Ноус Гермес 2 на Мистрале 7Б ДПО — новый флагман 7Б Гермес! Эта модель была создана DPO из Teknium/OpenHermes-2.5-Mistral-7B и улучшилась по всем показателям во всех протестированных тестах — AGIEval, BigBench Reasoning, GPT4All и TruthfulQA. Модель до DPO была обучена на 1 000 000 инструкций/чатов качества GPT-4 или выше, в основном синтетических данных, а также других наборов данных высокого качества, доступных в репозитории teknium/OpenHermes-2.5. Nous-Hermes 2 DPO на Mistral 7B представляет собой улучшение по всем критериям по приведенным ниже тестам по сравнению с исходной моделью OpenHermes 2.5, как показано здесь: Nous Hermes 2 использует ChatML в качестве формата подсказок, открывая гораздо более структурированную систему для вовлечения LLM в многоходовой диалог в чате. Системные подсказки обеспечивают управляемость и новые интересные способы взаимодействия с LLM, определяя правила, роли и стилистический выбор модели. Это более сложный формат, чем альпака или шарегпт, где были добавлены специальные жетоны для обозначения начала и конца любого хода, а также роли для ходов. Этот формат обеспечивает совместимость конечных точек OpenAI, и люди, знакомые с ChatGPT API, будут знакомы с этим форматом, поскольку он используется…
Модальности:
Генерация текста
Области применения:
Следование инструкциям Диалог / чат
Задача: Генерация текста
Автор: NousResearch
Теги: mistral, Mistral, instruct, finetune, chatml, DPO, RLHF, gpt4
Лайков: 217 | Загрузок: 1,601
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
