«Мистраль-ОРПО» — это усовершенствованная версия «Мистралай/Мистраль-7Б-v0.1», использующая оптимизацию предпочтений отношения шансов (ОРПО). При использовании ORPO модель напрямую изучает предпочтения без контролируемой фазы прогрева. Mistral-ORPO-ORPO-Capybara-7k дорабатывается в течение 2,5 часов на четырех A100 исключительно на 7 тысячах экземпляров дистиллированного набора данных парного многооборотного разговора Capybara, argilla/distilabel-capybara-dpo-7k-binarized, от Argilla.
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: kaist-ai
Теги: mistral, conversational, en, model-index, text-generation-inference, endpoints_compatible
Лайков: 26 | Загрузок: 7,636
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.