наборы данных: — 37 популярных репозиториев кода Python. — См. разделение поезда Princeton-nlp/SWE-bench. — Подробную информацию о форматировании входных данных см. в документации makedatasets на GitHub SWE-bench. SWE-Llama — это варианты модели CodeLlama, оптимизированные для задач разработки программного обеспечения, извлеченные из реальных проблем GitHub и запросов на включение. Они были представлены и оценены на тесте SWE-bench в этой статье. — Архитектура: преобразователь, основанный на архитектуре CodeLlama. — Параметры: 7 миллиардов для SWE-Llama-7b, 13 миллиардов для SWE-Llama-13b. — Цель: создание исправлений для решения проблем GitHub в зависимости от описания проблемы и контекста кода. SWE-Llama была доработана с учетом 19 000 проблем и запросов на включение, собранных из 37 популярных репозиториев кода Python на GitHub, не связанных с ними. используется в SWE-bench. — Точная настройка только матриц внимания с использованием метода LoRA. — Обучение в течение 4 эпох с размером пакета 32. — Выбрана лучшая контрольная точка на основе сложности проверки. — SWE-Llama-7b достиг коэффициента разрешения проблем 3,0% с использованием извлечения контекста Oracle. — SWE-Llama-13b достиг коэффициента разрешения проблем 4,0% с использованием извлечения контекста Oracle.
Модальности:
Генерация текста
Задача: Генерация текста
Автор: princeton-nlp
Теги: llama, text-generation-inference, endpoints_compatible
Лайков: 14 | Загрузок: 826
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
