Omni-Judge — это математическая модель оценки с открытым исходным кодом, предназначенная для оценки правильности решения, полученного с помощью модели, с учетом проблемы и стандартного ответа. Из-за сложности математических задач высокого уровня и их решений разработка методов оценки на основе правил может оказаться сложной задачей. Omni-Judge, аналогичный GPT-4-as-a-Judge, предлагает автоматизированную оценку с большей эффективностью и меньшими затратами. Подробности использования смотрите в этом разделе. Omni-Judge можно применять к различным тестам математических рассуждений, например, к предлагаемому нами Omni-MATH. Omni-Judge основан на мета-ламе/Llama-3.1-8B-Instruct и включает данные оценки GPT-4o для настройки инструкций. Набор обучающих данных содержит 17 618 примеров, всего 2 эпохи. Производительность Omni-Judge тесно связана с GPT-4o. Мы создали внутренний оценочный набор с использованием запросов, ранее не встречавшихся в модели, состоящий из 2220 тестовых образцов. Уровень согласия между оценками Omni-Judge и GPT-4o составляет примерно 91%. Учитывая оценку GPT-4o как золотой результат, мы сообщаем о производительности Omni-Judge. Для справедливого сравнения вопросы для обучения и теста разные. Если вы найдете…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: KbsdJames
Теги: llama, conversational, text-generation-inference, endpoints_compatible
Лайков: 20 | Загрузок: 612
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
