Эта модель представляет собой доработанную версию bigcode/santacoder на наборе данных Cobol The Stack. В наборе оценок он достигает следующих результатов: — Потеря: 0,7161. Модели SantaCoder представляют собой серию моделей с параметрами 1,1 млрд, обученных на подмножестве Python, Java и JavaScript пакета The Stack (v1.1) (без учета запросов на отказ). Основная модель использует внимание к нескольким запросам, была обучена с использованием почти дедупликации и соотношения комментариев к коду в качестве критериев фильтрации и с использованием цели «Заполнить посередине». Кроме того, существует несколько моделей, обученных на наборах данных с различными параметрами фильтров, а также с вариациями архитектуры и целей. Преобладающим языком источника является английский, хотя присутствуют и другие языки. Таким образом, модель способна генерировать фрагменты кода при условии некоторого контекста, но не гарантируется, что сгенерированный код будет работать должным образом. Он может быть неэффективным, содержать ошибки или эксплойты. Стек содержит более 6 ТБ файлов исходного кода с разрешительной лицензией, охватывающих 358 языков программирования. Набор данных был создан в рамках проекта BigCode — открытого научного сотрудничества, занимающегося ответственной разработкой больших языковых моделей для кода (код…
Модальности:
Генерация текста
Области применения:
Генерация кода
Задача: Генерация текста
Автор: muhtasham
Теги: tensorboard, gpt2, generated_from_trainer, code, codegen, assembly, custom_code, text-generation-inference
Лайков: 6 | Загрузок: 13
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
