Themis: безреферентная языковая модель оценки NLG с гибкостью и интерпретируемостью Мы предлагаем Themis, 8B-параметрическую модель большого языка (LLM), специально разработанную и обученную для оценки NLG, с более широкими возможностями. Наша Фемида может оценивать различные задачи NLG, в том числе такие необычные, как оценка вопросов и ответов (Универсальность), без использования ссылок (Независимость). Более того, он позволяет использовать конкретные и индивидуальные аспекты и критерии оценки, включая общее качество и более детальные аспекты (гибкость), а его оценка содержит соответствующий анализ и объяснение вместе с рейтингом (интерпретируемость). Мы считаем, что идеальный оценщик должен быть удобным в использовании и обладать этими характеристиками. Сравнение родственных методов и Фемиды показано в таблице ниже. Мы проводим эксперименты над несколькими распространенными задачами оценки и наборами данных NLG, чтобы сравнить нашу Themis с другими методами, включая SummEval для обобщения, Topical-Chat для генерации диалоговых ответов, SFRES&SFHOT для преобразования данных в текст, QAGS для фактологии, MANS для создания историй и WMT23 zh-en для машинного перевода. Результаты экспериментов показывают…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: PKU-ONELab
Теги: llama, en, text-generation-inference, endpoints_compatible
Лайков: 8 | Загрузок: 413
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
