UNO-Scorer — это легкая, но высокоточная модель оценки на основе LLM, предназначенная для эффективной автоматизации оценки больших мультимодальных моделей (LMM) с минимальными вычислительными затратами. Основная функциональность: — Входные данные: вопрос + эталонный ответ + модельный ответ. — Обработка: анализирует правильность путем сравнения каждого подвопроса с эталонным ответом. — Выходные данные: числовая оценка + подробное обоснование оценки для каждого подвопроса. UNO-Scorer, созданный на основе мощной магистрали Qwen3-14B, точно настраивается на высококачественных внутренних данных 13 тыс. Он преодолевает ограничения традиционных моделей общего вознаграждения (ORM), поддерживая 6 различных типов вопросов, особенно в многоэтапных открытых вопросах (MO). UNO-Scorer демонстрирует превосходную производительность в автоматизированной оценке, особенно при обработке сложных многоэтапных открытых вопросов. Мы сравнили точность нашего оценщика с точностью других продвинутых оценщиков в нашем тестовом наборе: Эксперименты показывают, что UNO-Scorer превосходит даже собственные передовые модели, такие как GPT-4.1, в этой конкретной области оценки при более низкой стоимости. Минимальный пример: > ⚠️ Критично: приведенный ниже шаблон приглашения упрощен для иллюстрации. Только…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: AGI-Eval
Теги: qwen, scoring, grading, evaluation, llm-judge, zh, en, endpoints_compatible
Лайков: 8 | Загрузок: 15
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
