— Разработчики: Цзе Лю \(^{1,2}\), Чжаньхуэй Чжоу \(^{2}\), Цзяхэн Лю \(^{2}\), Синъюань Бу \(^{2}\), Чао Ян \(^{2}\), Хан-Сен Чжун \(^{dag 2}\), Ванли Оуян \(^{1,2}\). — \(^{1}\)MMLab, Китайский университет Гонконга \(^{2}\)Шанхайская лаборатория искусственного интеллекта — Статья: Итеративная регуляризованная по длине оптимизация прямых предпочтений: практический пример улучшения языковых моделей 7B до уровня GPT-4 — Точная настройка на основе модели: openchat-3.5-0106 — Набор данных: berkeley-nest/Nectar — Награда Модель: Starling-RM-34B Мы выпустили Storm-7B, первую языковую модель с открытым исходным кодом, сравнимую с серией GPT-4 в таблице лидеров AlpacaEval 2.0. Недавние исследования показывают, что DPO выигрывает от итеративного обучения с онлайн-предпочтениями, помеченными обученной моделью вознаграждения. В этой работе мы выявляем подводный камень ванильного итеративного DPO — улучшение качества ответа может привести к увеличению многословности. Чтобы решить эту проблему, мы вводим итеративный DPO с регуляризацией по длине (iLR-DPO), чтобы наказать длину ответа. Наши эмпирические результаты показывают, что iLR-DPO может повысить производительность модели 7B до уровня GPT-4 без увеличения многословности. Наша модель 7B достигает 50,5% процента побед над GPT-4 Preview с контролируемой длиной.
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: jieliu
Теги: mistral, storm, openchat, RLAIF, reward model, conversational, en, text-generation-inference
Лайков: 41 | Загрузок: 21
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
