CodeGen — семейство авторегрессионных языковых моделей для синтеза программ из статьи: A Conversational Paradigm for Program Synthesis by Erik Nijkamp, Bo Pang, Hiroaki Hayashi, Lifu Tu, Huan Wang, Yingbo Zhou, Silvio Savarese, Caiming Xiong. Модели первоначально выпущены в этом репозитории в соответствии с 3 вариантами данных предварительного обучения (NL, Multi, Mono) и 4 вариантами размера модели (350M, 2B, 6B, 16B). Контрольная точка, включенная в этот репозиторий, обозначена в документе как CodeGen-Multi 350M, где «Multi» означает, что модель инициализируется CodeGen-NL 350M и дополнительно предварительно обучается на наборе данных из нескольких языков программирования, а «350M» относится к количеству обучаемых параметров. Эта контрольная точка (CODEGEN-MULTI 350M) была сначала инициализирована с помощью CODEGEN-NL 350M, а затем предварительно обучена на BigQuery, крупномасштабном наборе данных из нескольких языков программирования из репозиториев GitHub. Данные состоят из 119.2B токенов и включают в себя C , C , Go, Java, JavaScript и Python. CodeGen обучали с использованием кросс-энтропийных потерь для максимизации вероятности последовательных входов. Семейство моделей обучается с использованием нескольких TPU-v4-512 от Google, используя данные и параллелизм моделей. См. Раздел 2.3 из…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: model-attribution-challenge
Теги: codegen, endpoints_compatible
Лайков: 2 | Загрузок: 186
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
