CodeGen2 — это семейство авторегрессионных языковых моделей для синтеза программ, представленное в статье «CodeGen2: Уроки для обучения студентов-магистров по программированию и естественным языкам» Эрика Нейкампа, Хироаки Хаяши, Цайминга Сюн, Сильвио Саварезе, Инбо Чжоу. В отличие от исходного семейства моделей CodeGen (т. е. CodeGen1), CodeGen2 способен заполнять и поддерживает больше языков программирования. Эту модель можно легко загрузить с помощью функции AutoModelForCausalLM. Для регулярной причинной выборки просто сгенерируйте дополнения с учетом контекста: Для заполняющей выборки мы вводим три новых специальных типа токенов: : N-й диапазон, который нужно замаскировать. На практике используйте туда, где вы хотите взять образец заполнения. : токен-разделитель между суффиксом и заполненным образцом. См. ниже. `: Токен «Конец маски», который модель выведет в конце заполнения. Вы можете использовать этот токен для усечения вывода. Например, если мы хотим создать заполнение для следующей позиции курсора функции: 1. Вставка токена вместо позиции курсора 2. Добавьте токен, чтобы указать границу 3. Вставьте другой, чтобы указать, какую маску мы хотим заполнить. Эта контрольная точка обучена на более строгом разрешительном подмножестве…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: Salesforce
Теги: codegen, custom_code, endpoints_compatible
Лайков: 16 | Загрузок: 3,356
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
