> Аннотация: Модели больших языков с открытым исходным кодом (LLM) и их специализированные варианты, особенно Code LLM, в последнее время продемонстрировали впечатляющую производительность. Однако предыдущие кодовые LLM обычно точно настраиваются на данные из одного источника с ограниченным качеством и разнообразием, что может недостаточно раскрыть потенциал предварительно обученных кодовых LLM. В этой статье мы представляем AlchemistCoder, серию Code LLM с расширенными возможностями генерации и обобщения кода, точно настроенными на данных из нескольких источников. Для достижения этой цели мы первыми раскрываем внутренние конфликты между различными стилями и качествами в корпусах с несколькими исходными кодами и вводим подсказки для конкретных данных с ретроспективной перемаркировкой, называемой AlchemistPrompts, для гармонизации различных источников данных и пар инструкция-ответ. Кроме того, мы предлагаем включить процесс построения данных в данные тонкой настройки в качестве задач понимания кода, включая эволюцию инструкций, фильтрацию данных и проверку кода. Обширные эксперименты показывают, что AlchemistCoder удерживает явное лидерство среди всех моделей одинакового размера (6.7B/7B) и конкурирует или даже превосходит более крупные модели (15B/33B/70B), демонстрируя эффективность нашего метода при уточнении…
Модальности:
Генерация текста
Области применения:
Диалог / чат Генерация кода
Задача: Генерация текста
Автор: internlm
Теги: llama, code generation, conversational, text-generation-inference, endpoints_compatible
Лайков: 11 | Загрузок: 850
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
