Авторы: Эрик Нейкамп, Хироаки Хаяши, Инбо Чжоу, Цаймин Сюн CodeGen2.5 — семейство авторегрессионных языковых моделей для синтеза программ. Основываясь на CodeGen2, модель обучается на StarCoderData для токенов 1.4T, достигая конкурентоспособных результатов по сравнению с StarCoderBase-15.5B с размером менее половины. Как и CodeGen2, эта модель способна к заполнению и поддерживает несколько языков программирования. Затем мы продолжаем обучение на Python, а затем на данных инструкций. Мы выпускаем все модели следующим образом: CodeGen2.5-7B-multi: обучено на StarCoderData. Лицензия Apache-2.0. CodeGen2.5-7B-mono (этот репозиторий): дальнейшее обучение работе с дополнительными токенами Python. Лицензия Apache-2.0. CodeGen2.5-7B-instruct: дальнейшее обучение на основе CodeGen2.5-7B-mono на данных инструкций. Только в исследовательских целях*. Эту модель можно легко загрузить с помощью функции AutoModelForCausalLM. Для регулярной причинной выборки просто сгенерируйте дополнения с учетом контекста: : N-й диапазон, который нужно замаскировать. На практике используйте туда, где вы хотите взять образец заполнения. : токен-разделитель между суффиксом и заполненным образцом. См. ниже. `: Токен «Конец маски», который модель выведет в конце заполнения. Вы можете использовать это…
Модальности:
Генерация текста
Области применения:
Генерация кода
Задача: Генерация текста
Автор: Salesforce
Теги: llama, code, text-generation-inference, endpoints_compatible
Лайков: 31 | Загрузок: 1,809
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
