Это вторая точно настроенная RL модель OpenHermes-2.5-Mistral-7B от Teknium с использованием наборов данных предпочтений Intel/orcadpopairs и allenai/ultrafeedbackbinarizedcleaned для обучения с подкреплением с использованием оптимизации прямых предпочтений (DPO). Разница между этой моделью и моделью «v1» заключается в том, что модель v1 использовала версию набора данных argilla, которая не была очищена от TruthfulQA. данные. DPOpenHermes обучается с использованием 16-битного LoRA. DPOpenHermes обучался на одном H100 объемом 80 ГБ, размещенном на RunPod, в течение примерно 13 часов для 1,0 эпохи набора данных. DPOpenHermes использует ChatML в качестве формата подсказок, открывая гораздо более структурированную систему для вовлечения LLM в многоходовой диалог в чате. Системные подсказки теперь имеют значение! Гермес 2.5 был обучен использовать системные подсказки из командной строки для более активного выполнения инструкций, охватывающих множество ходов. Это более сложный формат, чем альпака или шарегпт, где были добавлены специальные жетоны для обозначения начала и конца любого хода, а также роли для ходов. Этот формат обеспечивает совместимость конечных точек OpenAI, и люди, знакомые с API ChatGPT, будут знакомы с этим форматом, поскольку он тот же, что используется OpenAI. Быстрый…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: openaccess-ai-collective
Теги: mistral, conversational, en, text-generation-inference, endpoints_compatible
Лайков: 31 | Загрузок: 18
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
