Diff-Codegen-350M — первая из серии диф-моделей, выпущенных CarperAI. Модель различий — это авторегрессионная языковая модель, обученная на редактировании фрагмента текста, отформатированного в унифицированном формате различий. Эти модели различий могут предложить, учитывая фрагмент текста и описание желаемого изменения, интеллектуальное изменение текста, соответствующее описанию, отмечая добавленные, измененные и удаленные строки в формате различий. Основной вариант использования этих моделей — предложение изменений в коде. Таким образом, большинство моделей, которые мы выпускаем, будут представлять собой доработанные версии моделей, обученных на наборах данных кода. Diff-Codegen-350M-v1 — это первоначальный предварительный выпуск экспериментального артефакта, и к нему следует относиться соответственно. Мы публикуем эти результаты и эту модель в надежде, что они могут быть полезны широкому исследовательскому сообществу, особенно тем, кто интересуется LM для кода. В ближайшем будущем CarperAI выпустит более крупные дифференциальные LM, обученные на более крупных наборах данных кода, основываясь на этой первоначальной версии. Эта модель представляет собой усовершенствованную версию Codegen-350m-mono от Salesforce. Эта языковая модель была сначала предварительно обучена на The PIle, наборе данных объемом 800 ГБ, состоящем из различных веб-корпораций. Техническое описание и бумага для Pile могут…
Модальности:
Генерация текста
Области применения:
Генерация кода
Задача: Генерация текста
Автор: CarperAI
Теги: codegen, Diff Model, causal-lm, code-generation, The Pile, en, code, endpoints_compatible
Лайков: 14 | Загрузок: 15
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
