В этой модели используется набор данных Evol-Instruct-Code-80k-v1, созданный с использованием репозитория Evol-Teacher. В настоящее время WizardCoder является одной из самых производительных моделей генерации кода, уступая только ChatGPT. При этом используется набор данных Code Alpaca 20k, и каждая инструкция развивается с помощью случайно выбранной подсказки эволюции для увеличения сложности инструкций. Эти подсказки варьируются от увеличения сложности времени/пространства до увеличения требований, добавления ошибочного кода для повышения надежности и т. д. Это делается три раза с обрезкой и последующей обработкой для удаления нежелательных инструкций и ответов. Итеративное добавление большей сложности дает более качественные и глубокие инструкции, чем те, которые обычно создаются в методах Альпаки. Это, как и в случае с WizardCoder и WizardLM, может привести к высокой производительности, очень близкой к производительности модели RLHF. В этой модели используется ReplitLM, настроенный со следующими параметрами:
Модальности:
Генерация текста
Задача: Генерация текста
Автор: nickrosh
Теги: mpt, custom_code, text-generation-inference, endpoints_compatible
Лайков: 8 | Загрузок: 14
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
