Мы рады представить Stable-DiffCoder — модель большого языка с сильной диффузией кода. Построенный непосредственно на архитектуре, данных и конвейере обучения Seed-Coder, он представляет этап непрерывного предварительного обучения (CPT) диффузии блоков с адаптированным графиком прогрева и поблочным ограничением шума. При идентичной архитектуре и настройках данных мы систематически анализируем и разрабатываем эффективный конвейер диффузного обучения, который не только стабилен, но и потенциально повышает потолок производительности модели. С помощью этого рецепта Stable-DiffCoder демонстрирует общее улучшение производительности по сравнению со своим авторегрессионным (AR) аналогом в широком наборе тестов кода, в то время как моделирование в любом порядке улучшает обработку структурированного кода для редактирования и рассуждения, а искажение на основе диффузии помогает изучать языки программирования с низким уровнем ресурсов. Примечательно, что благодаря использованию только CPT с последующей контролируемой точной настройкой Stable-DiffCoder превосходит многие сильные модели кодов на основе ~8B AR и диффузии. Эти результаты показывают, что обучение на основе диффузии может улучшить качество моделирования кода сверх того, чего можно достичь только при обучении AR, даже при жестко контролируемых ограничениях данных и архитектуры…
Модальности:
Генерация текста
Области применения:
Генерация кода
Задача: Генерация текста
Автор: ByteDance-Seed
Теги: llama, feature-extraction, custom_code, text-generation-inference, endpoints_compatible
Лайков: 17 | Загрузок: 149
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
