Это модель со 164 млн параметров с той же архитектурой, что и StarCoder (длина контекста 8 тыс., MQA и FIM). Он обучался на данных Python из StarCoderData за ~6 эпох, что составляет 100 млрд токенов. Модель была обучена на коде GitHub, чтобы помочь в выполнении некоторых задач, таких как вспомогательная генерация. Для чистого завершения кода мы советуем использовать наши модели 15B [StarCoder]() или [StarCoderBase](). Для заполнения середины используются специальные токены для идентификации части префикса/середины/суффикса входных и выходных данных: — Архитектура: модель GPT-2 с вниманием к нескольким запросам и целью «Заполнение середины» — Шаги предварительного обучения: 50 тыс. — Токены предварительного обучения: 100 миллиардов — Точность: bfloat16 — Оркестровка: Megatron-LM — Нейронные сети: PyTorch — BP16 if применимо: apex Модель лицензируется в соответствии с лицензионным соглашением BigCode OpenRAIL-M v1. Полный текст соглашения можно найти здесь.
Модальности:
Генерация текста
Области применения:
Генерация кода
Задача: Генерация текста
Автор: bigcode
Теги: gpt_bigcode, code, model-index, text-generation-inference, endpoints_compatible
Лайков: 74 | Загрузок: 31,390
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
