Страница проекта | Бумага | Код | 🤗Демо | 🤗TIGERSScore-7B | 🤗TIGERScore-13B Мы представляем TIGERScore, обученную метрику, которая соответствует инструкциям для выполнения объяснимой и безсправочной оценки для широкого спектра задач по созданию текста. Наша метрика основана на LLaMA-2, обученном на нашем тщательно подобранном наборе данных для настройки инструкций MetricInstruct, который охватывает 6 задач генерации текста и 23 набора данных генерации текста. Существующие автоматические метрики отстают и страдают от таких проблем, как 1) Зависимость от ссылок, 2) Ограниченность конкретными доменами, 3) Отсутствие атрибуции. В отличие от них, TIGERScore предназначен для управления обучением на естественном языке и обеспечивает подробный анализ ошибок, чтобы точно определить ошибки в сгенерированном тексте. В частности, TIGERScore принимает инструкцию, связанный входной контекст вместе с выводом гипотезы, который может содержать ошибки. Затем TIGERScore оценит выходные данные этой гипотезы и перечислит несколько ошибок, каждая из которых включает в себя местоположение ошибки, аспект, объяснение и баллы штрафа (оценка снижается, начиная с 0). Сумма приведенных баллов принимается за общую оценку данного результата. Будучи безреферентным показателем, его корреляция может…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: TIGER-Lab
Теги: llama, text evaluation, metric, llm metric, tigerscore, text2text-generation, en, zh
Лайков: 18 | Загрузок: 326
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
