Экстраполированная модель (ExPO) основана на Princeton-nlp/Llama-3-Instruct-8B-SimPO и metal-llama/Meta-Llama-3-8B-Instruct, как описано в статье «Экстраполяция от слабого к сильному ускоряет выравнивание». В частности, мы получаем эту модель путем экстраполяции (альфа = 0,3) весов контрольных точек SFT и DPO/RLHF, достигая превосходного соответствия человеческим предпочтениям. Эта экстраполированная модель достигает 40,6% побед и 45,8% LC на AlpacaEval 2.0, превосходя исходную Llama-3-Instruct-8B-SimPO с 40,5% и 44,7% соответственно. Результаты оценки теста AlpacaEval 2.0 (вы можете найти результаты оценки в официальном репозитории GitHub): Результаты оценки теста MT-Bench (вы можете найти результаты оценки в официальном репозитории GitHub):
Модальности:
Генерация текста
Области применения:
Диалог / чат Следование инструкциям
Задача: Генерация текста
Автор: chujiezheng
Теги: llama, conversational, en, text-generation-inference, endpoints_compatible
Лайков: 16 | Загрузок: 24
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
