🌐 Домашняя страница | 🤗 МАП-СС | 🤗 CHC-Скамья | 🤗 CT-LLM | 📖 arXiv | GitHub CT-LLM-SFT-DPO — это версия CT-LLM для выравнивания. Основные особенности этой модели: 1. Наша модель, вариант CT-LLM-SFT с улучшенным выравниванием, обучается с использованием DPO, метода прямого обучения на основе предпочтений. 2. Для обучения нашей модели мы используем комбинацию общедоступных наборов данных и синтетических данных. 3. Наша модель превосходит ряд моделей 2B LLM по показателю Cvalues, демонстрируя свою повышенную безвредность. Обучение выравниванию также улучшает его общие характеристики. В частности, он показывает улучшенные результаты в таких тестах, как COPA, CMMLU, Hellaswag и TriviaQA, по сравнению с версией CT-LLM-SFT. Наша модель включает в себя сочетание общедоступных наборов данных и синтетических данных из LLM. Китайские наборы данных с открытым исходным кодом состоят из безопасных и полезных разделов из cvaluesrlhf, сравненияgpt4datazh и oaastrmzh в Llama-factory, huozi и zhihu. Для английского набор данных включает сравнениеgpt4dataen` от Llama-factory и Beavertails. Чтобы создать более качественный набор данных о предпочтениях с помощью синтетического подхода, мы используем alpaca-gpt4, который генерирует «выбранные» ответы с использованием GPT-4, и мы принимаем…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: m-a-p
Теги: llama, text-generation-inference, endpoints_compatible
Лайков: 5 | Загрузок: 34
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
