CodeGen — это семейство авторегрессионных языковых моделей для синтеза программ из статьи «Разговорная парадигма синтеза программ» Эрика Нейкампа, Бо Панга, Хироаки Хаяши, Лифу Ту, Хуан Вана, Инбо Чжоу, Сильвио Саварезе, Каймин Сюн. Модели изначально опубликованы в этом репозитории в трех вариантах данных предварительного обучения (NL, Multi, Mono) и четырех вариантах размера модели (350M, 2B, 6B, 16B). Контрольная точка, включенная в этот репозиторий, настроена поверх CodeGen-Multi 350M, где «Multi» означает, что модель инициализируется с помощью CodeGen-NL 350M и дополнительно предварительно обучается на наборе данных нескольких языков программирования, а «350M» относится к количеству обучаемых параметров. Он был доработан на основе HTML-кода, содержащегося в наборе данных bigcode/the-stack на HuggingFace. Эта контрольная точка (CodeGen-Multi 350M) была сначала инициализирована с помощью CodeGen-NL 350M, а затем предварительно обучена на BigQuery, крупномасштабном наборе данных для нескольких языков программирования из репозиториев GitHub. Данные состоят из 119,2 млрд токенов и включают C, C++, Go, Java, JavaScript и Python. Наконец, он был доработан для HTML-кода, содержащегося в наборе данных bigcode/the-stack на Huggingface. Первоначально: CodeGen обучался с использованием…
Модальности:
Генерация текста
Области применения:
Генерация кода
Задача: Генерация текста
Автор: alecsharpie
Теги: codegen, code, generative, endpoints_compatible
Лайков: 15 | Загрузок: 25
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
