📃 Бумага • 🤗 Данные (PyInstruct) • 🤗 Модель (PyLlama3) • 🚗Код • PyBench — это комплексный тест для оценки LLM в реальных задачах кодирования, включая анализ диаграмм, анализ текста, редактирование изображений/аудио, сложную математику и разработку программного обеспечения/веб-сайтов. Мы собираем файлы из Kaggle, arXiv и других источников и автоматически генерируем запросы в соответствии с типом и содержимым каждого файла. Что касается оценки, мы разрабатываем модульные тесты для каждой задачи. Агент LLM, оснащенный интерпретатором кода, способен автоматически решать реальные задачи кодирования, такие как анализ данных и обработка изображений. Однако существующие тесты в первую очередь фокусируются либо на упрощенных задачах, таких как выполнение нескольких строк кода, либо на чрезвычайно сложных и специфических задачах на уровне репозитория, ни одна из которых не является репрезентативной для различных повседневных задач кодирования. Чтобы устранить этот пробел, мы представляем PyBench — тест, охватывающий 5 основных категорий реальных задач и охватывающий более 10 типов файлов. !Как работает PyBench Чтобы найти способ улучшить возможности модели в PyBench, мы создаем гомологичный набор данных: PyInstruct. PyInstruct содержит многоэтапное взаимодействие между моделью и…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: Mercury7353
Теги: llama, conversational, text-generation-inference, endpoints_compatible
Лайков: 5 | Загрузок: 4
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
