Эта модель построена на основе LLaMa2 7B взамен моделей оценки правдивости/информативности, которые изначально были представлены в документе TruthfulQA. Эта модель основана на движке Curie OpenAI с использованием API тонкой настройки. Однако по состоянию на 8 февраля 2024 года OpenAI отключила свой движок Кюри, и поэтому мы больше не можем использовать его для оценки TruthfulQA. Итак, мы решили обучить модели судей, используя открытую модель (т. е. LLaMa), которая может сделать оценку более доступной и воспроизводимой. Мы выпустили две модели для оценки правдивости и информативности соответственно. Код обучения и результаты проверки этих моделей можно найти здесь. Эти модели предназначены только для оценки TruthfulQA. Они предназначены для обобщения оценки новых моделей на фиксированном наборе подсказок, но могут не обобщаться для новых подсказок. Вы можете опробовать модель, используя следующие скрипты:
Модальности:
Генерация текста
Задача: Генерация текста
Автор: allenai
Теги: llama, en, text-generation-inference, endpoints_compatible
Лайков: 6 | Загрузок: 1,241
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
