Notus — это набор точно настроенных моделей, использующих прямую оптимизацию предпочтений (DPO) и связанные с ней методы RLHF. Эта модель является первой версией, доработанной с помощью DPO вместо zephyr-7b-sft-full, модели SFT, созданной для создания zephyr-7b-beta. Согласно подходу, ориентированному на данные, единственная разница между Notus-7B-v1 и Zephyr-7B-beta заключается в наборе данных предпочтений, используемом для dDPO. В частности, когда мы начали создавать distilabel, мы потратили время на понимание и глубокое изучение набора данных UltraFeedback. Используя Argilla, мы обнаружили проблемы с данными в исходном наборе данных UltraFeedback, что привело к получению высоких оценок за плохие ответы (более подробную информацию можно найти в разделе обучающих данных). После обработки нескольких сотен точек данных мы решили бинаризировать набор данных, используя рейтинги предпочтений вместо исходного общего балла критики, и проверили новый набор данных с помощью Argilla. Использование рейтингов предпочтений вместо оценок критики привело к созданию нового набора данных, в котором выбранный ответ отличается примерно в 50% случаев. Используя этот новый набор данных с DPO, мы доработали Notus, модель 7B, которая превосходит Zephyr-7B-beta и Claude 2 на AlpacaEval. > Важное примечание: хотя мы выбрали среднее значение…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: argilla
Теги: tensorboard, mistral, dpo, rlaif, preference, ultrafeedback, conversational, en
Лайков: 123 | Загрузок: 87
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
