Большие языковые модели (LLM) с трудом следуют инструкциям со сложными ограничениями по формату, длине и т. д. Следуя традиционной практике настройки инструкций, в предыдущих работах проводится постобучение на сложных парах инструкция-ответ, генерируемых путем подачи сложных инструкций в продвинутые LLM. Однако даже продвинутые LLM не могут хорошо выполнять сложные инструкции, что ограничивает качество генерируемых данных. В этой работе мы обнаруживаем, что существующие наборы данных по своей сути содержат неявные сложные ограничения, и предлагаем новый метод генерации данных — обратный перевод ограничений. В частности, мы берем высококачественные пары инструкция-ответ из существующих наборов данных и применяем только усовершенствованные LLM для добавления сложных ограничений, которым уже удовлетворяют ответы на инструкции, что естественным образом снижает затраты и шум в данных. В экспериментах мы используем Llama3-70B-Instruct для обратного перевода ограничений и создания высококачественного сложного набора данных «инструкция-ответ» под названием CRAB. Мы представляем, что пост-обучение на CRAB улучшает способность LLM следовать сложным инструкциям, что оценивается с помощью обширных тестов выполнения инструкций. Далее мы обнаруживаем, что обратный перевод ограничений также…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: THU-KEG
Теги: mistral, alignment-handbook, generated_from_trainer, conversational, en
Лайков: 5 | Загрузок: 10
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
