Nous Hermes 2 Mixtral 8x7B SFT — это версия нашей новой флагманской модели Nous Research, предназначенная только для контролируемой точной настройки, обученная на Mixtral 8x7B MoE LLM. Модель была обучена на более чем 1 000 000 записей, в основном данных, сгенерированных GPT-4, а также других высококачественных данных из открытых наборов данных в среде ИИ, что позволило достичь высочайшего уровня производительности при выполнении различных задач. Это версия Mixtral Hermes 2, предназначенная только для SFT. Мы также выпустили версию SFT+DPO, чтобы люди могли найти, какая из них лучше всего подходит для них. Эту версию можно найти здесь: https://huggingface.co/NousResearch/Nous-Hermes-2-Mixtral-8x7B-DPO 1. Примеры выходных данных 2. Результаты тестов — GPT4All — AGIEval — BigBench — сравнение с Mixtral-Instruct 3. Формат подсказки 4. Пример кода вывода 5. Квантованные модели Nous-Hermes 2 на Mixtral 8x7B SFT является основой для серьезных улучшений во многих тестах, приведенных ниже, по сравнению с базовой моделью Mixtral, и является единственной версией SFT нашей первой модели, которая превзошла флагманский Mixtral Finetune от MistralAI (версия DPO). Nous Hermes 2 использует ChatML в качестве формата подсказок, открывая гораздо более структурированную систему для вовлечения LLM в многоходовой диалог в чате. Системные подсказки позволяют…
Модальности:
Генерация текста
Области применения:
Следование инструкциям Диалог / чат
Задача: Генерация текста
Автор: NousResearch
Теги: mixtral, Mixtral, instruct, finetune, chatml, gpt4, synthetic data, distillation
Лайков: 59 | Загрузок: 138
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
