Это официальная реализация PyTorch для следующего документа EMNLP 2021 от Salesforce Research: Название: CodeT5: Унифицированные предварительно обученные модели кодировщика-декодера с учетом идентификаторов для понимания и генерации кода Авторы: Юэ Ван, Вейши Ван, Шафик Джоти и Стивен К.Х. Хой Мы выпускаем на Hugging Face две контрольные точки CodeT5 большого размера: Salesforce/codet5-large и Salesforce/codet5-large-ntp-py, которые представлены в статье: CodeRL: освоение генерации кода с помощью предварительно обученных моделей и глубокого обучения с подкреплением, авторы: Hung Le, Yue Wang, Akhilesh Deepak Gotmare, Silvio Savarese, Steven C.H. Хой. * CodeT5-large был предварительно обучен с использованием цели Masked Span Prediction (MSP) на CodeSearchNet и достиг новых результатов SOTA в нескольких тестах CodeXGLUE. Подробно настроенные контрольные точки опубликованы здесь. Более подробную информацию см. в Приложении A.1 к документу. * CodeT5-large-ntp-py сначала был предварительно обучен с использованием цели прогнозирования маскированного интервала (MSP) на CodeSearchNet и GCPY (разделение данных кода Github на Python), а затем еще 10 эпох на GCPY с использованием цели прогнозирования следующего токена (NTP). CodeT5-large-ntp-py специально оптимизирован для задач генерации кода Python и используется в качестве…
Модальности:
Генерация текста
Области применения:
Генерация кода
Задача: Генерация текста
Автор: dorkai
Теги: code, developer, ai, code-generation, en, endpoints_compatible
Лайков: 8 | Загрузок: 0
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
