CodeRM-8B — небольшая, но мощная модель, предназначенная для эффективной и высококачественной генерации модульных тестов. Он обучается на наборе данных из 60 тысяч высококачественных синтетических модульных тестов Python с использованием Llama3.1-70B-Instruct. Эти модульные тесты синтезируются на основе двух широко известных наборов данных для настройки инструкций кода: CodeFeedback-Filtered-Instruction и обучающего набора TACO. Набор обучающих данных, используемый для создания модульных тестов, доступен в открытом доступе в CodeRM-UnitTest. Дополнительную информацию и подробности обучения см. в нашей статье «Динамическое масштабирование модульных тестов для моделирования вознаграждения за код», доступной на arXiv. Вы также можете посетить домашнюю страницу и репозиторий статьи на GitHub. Сначала мы оцениваем производительность CodeRM-8B, используя настройку best-of-N. В этой настройке LLM (модель политики) генерирует 100 возможных решений кода для данной проблемы программирования, а другая LLM (модель вознаграждения) генерирует 100 модульных тестов. Оптимальное решение кода затем выбирается на основе голосования большинства, полученного на основе результатов выполнения этих модульных тестов. В рамках этой структуры наш обученный генератор модульных тестов демонстрирует производительность, сравнимую с Llama3.1-70B-Instruct, несмотря на то, что его параметр в 8 раз меньше…
Модальности:
Генерация текста
Области применения:
Генерация кода Диалог / чат
Задача: Генерация текста
Автор: KAKA22
Теги: llama, code, conversational, en, text-generation-inference, endpoints_compatible
Лайков: 6 | Загрузок: 44
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
