CodeT5 — это семейство языковых моделей кодировщика-декодера для кода из статьи: CodeT5: унифицированные предварительно обученные модели кодировщика-декодера с учетом идентификаторов для понимания и генерации кода Юэ Вана, Вейши Вана, Шафика Джоти и Стивена К.Х. Хой. Контрольная точка, включенная в этот репозиторий, обозначена как CodeT5-large-ntp-py (770M), которая представлена в статье: CodeRL: Mastering Code Generation Through Pretrained Models and Deep Reinforcement Learning авторы Hung Le, Yue Wang, Akhilesh Deepak Gotmare, Silvio Savarese, Steven C.H. Хой. CodeT5-large-ntp-py был предварительно обучен на данных CodeSearchNet на шести языках программирования (Ruby/JavaScript/Go/Python/Java/PHP) и данных GCPY (разделение кода Github на Python). Более подробную информацию см. в разделе 4.1 статьи. CodeT5-large-ntp-py сначала был предварительно обучен с использованием цели прогнозирования маскированного интервала (MSP) на CodeSearchNet для 150 эпох и на GCPY для 10 эпох, а затем еще 10 эпох на GCPY с использованием цели прогнозирования следующего токена (NTP). Более подробную информацию см. в разделе 4.1 статьи. Мы проверили эту контрольную точку на тесте APPS. Более подробную информацию см. в Таблице 5 документа. Эту модель можно легко загрузить с помощью T5ForConditionalGeneration…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: Salesforce
Теги: t5, text-generation-inference, endpoints_compatible
Лайков: 27 | Загрузок: 3,666
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
