Эта модель является точной настройкой bigcode/starcoder на наборе данных генерации кода teknium1/GPTeacher (тонкая настройка инструкций кода GPT-4). Базовые модели StarCoder представляют собой модели с 15,5 миллиардами параметров, обученные на более чем 80 языках программирования из The Stack (v1.2), без учета запросов на отказ. Модель использует внимание к множественным запросам, контекстное окно из 8192 токенов и была обучена с использованием цели «Заполнить посередине» на 1 триллионе токенов. — Репозиторий: bigcode/Megatron-LM — Веб-сайт проекта: bigcode-project.org — Бумага: 💫StarCoder: Да пребудет с вами источник! — Контактное лицо: contact@bigcode-project.org — Языки: более 80 языков программирования. Базовая модель была обучена на коде GitHub, а затем доработана для следования инструкциям. Такие подсказки, как «Напишите функцию, которая вычисляет квадратный корень». должно работать достаточно хорошо. В исходном репозитории рекомендуется использовать подсказку технического помощника, чтобы несколько раз заставить его вести себя как технический помощник. В этой доработанной модели используются подсказки Альпаки. Набор данных для предварительного обучения модели был отфильтрован только для разрешительных лицензий. Тем не менее, модель может дословно генерировать исходный код из набора данных. Лицензия кода может требовать указания авторства и/или других конкретных…
Модальности:
Генерация текста
Области применения:
Генерация кода Следование инструкциям
Задача: Генерация текста
Автор: GeorgiaTechResearchInstitute
Теги: gpt_bigcode, Code-Gen, text-generation-inference, endpoints_compatible
Лайков: 81 | Загрузок: 822
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
