FuseChat-3.0: оптимизация предпочтений для неявного объединения моделей | 📑 Бумага WRPO | 📑 Бумага FuseChat-3.0 | 🐱 Репозиторий GitHub | 🤗 Обнимающее лицо | 🌐 Веб-сайт | Мы представляем FuseChat-3.0, серию моделей, созданных для повышения производительности за счет интеграции сильных сторон LLM с несколькими источниками в более компактные целевые LLM. Для достижения этого слияния мы использовали четыре мощных источника LLM: Gemma-2-27B-It, Mistral-Large-Instruct-2407, Qwen-2.5-72B-Instruct и Llama-3.1-70B-Instruct. В качестве целевых LLM мы использовали три широко используемые модели меньшего размера — Llama-3.1-8B-Instruct, Gemma-2-9B-It и Qwen-2.5-7B-Instruct, а также две еще более компактные модели — Llama-3.2-3B-Instruct и Llama-3.2-1B-Instruct. Процесс неявного объединения моделей включает в себя двухэтапный конвейер обучения, включающий контролируемую точную настройку (SFT) для уменьшения несоответствий распределения между целевыми и исходными LLM и оптимизацию прямых предпочтений (DPO) для изучения предпочтений из нескольких исходных LLM. Полученные модели FuseChat-3.0 продемонстрировали существенные улучшения в задачах, связанных с общим разговором, выполнением инструкций, математикой и программированием. Примечательно, что когда Llama-3.1-8B-Instruct служил целевой LLM, наш…
Модальности:
Генерация текста
Области применения:
Диалог / чат Следование инструкциям
Задача: Генерация текста
Автор: FuseAI
Теги: llama, conversational, model-index, text-generation-inference, endpoints_compatible
Лайков: 12 | Загрузок: 114
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
