1. Краткое описание модели 2. Использование 3. Ограничения 4. Обучение 5. Лицензия 6. Цитирование Модель StarCoder2-7B представляет собой модель с 7B параметрами, обученную на 17 языках программирования из The Stack v2, за исключением запросов на отказ. Модель использует внимание к групповым запросам, контекстное окно из 16 384 токенов со скользящим окном из 4096 токенов и было обучено с использованием цели «Заполнить посередине» на более чем 3,5 триллионах токенов. — Веб-сайт проекта: bigcode-project.org — Документ: ссылка — Контактное лицо: contact@bigcode-project.org — Языки: 17 языков программирования Модель была обучена на коде GitHub, а также на дополнительных выбранных источниках данных, таких как Arxiv и Wikipedia. По существу, это не модель инструкций и не команды типа «Напишите функцию, вычисляющую квадратный корень». не работают хорошо. Вот несколько примеров для начала работы с моделью. Скрипт для тонкой настройки можно найти в репозитории StarCoder2 на GitHub. Набор данных для предварительного обучения модели был отфильтрован на наличие разрешительных лицензий и только кода без лицензии. Тем не менее, модель может дословно генерировать исходный код из набора данных. Лицензия кода может требовать указания авторства и/или других особых требований, которые необходимо соблюдать. Мы…
Модальности:
Генерация текста
Области применения:
Генерация кода
Задача: Генерация текста
Автор: bigcode
Теги: starcoder2, code, model-index, text-generation-inference, endpoints_compatible
Лайков: 209 | Загрузок: 19,551
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
