Этот репозиторий содержит модель из основного эксперимента STaR-GATE: Teaching Language Models to Ask Clarifying Questions. Веса, содержащиеся в этом репозитории, представлены синей линией на графике коэффициента выигрыша слева ниже. Предлагая языковым моделям выполнить задачу, пользователи часто оставляют важные аспекты невысказанными. Хотя постановка вопросов может разрешить эту двусмысленность (GATE; Li et al., 2023), модели часто изо всех сил пытаются задавать хорошие вопросы. Мы исследуем способность языковой модели к самосовершенствованию (STaR; Zelikman et al., 2022), вознаграждая модель за генерацию полезных вопросов — простой метод, который мы называем STaR-GATE. Мы генерируем синтетический набор данных из 25 500 уникальных подсказок для моделирования разговоров между предварительно обученной языковой моделью — вопрошающим — и ролевым игроком, чьи предпочтения неизвестны вопрошающему. Задавая вопросы, вопрошающий выявляет предпочтения ролевого игрока. Вопросник итеративно тонко настраивается на вопросы, повышающие вероятность качественных ответов на задание, которые генерируются Оракулом с доступом к латентным предпочтениям Ролевого игрока. После двух итераций самосовершенствования спрашивающий спрашивает лучше…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: scandukuri
Теги: mistral, conversational, text-generation-inference, endpoints_compatible
Лайков: 3 | Загрузок: 22
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
