CodeParrot 🦜 — это модель GPT-2 (параметры 1,5 млрд), обученная генерировать код Python. После первоначального обучения и выпуска версии 1.0 мы еще немного обучили модель и выпустили версию 1.1 (подробности см. ниже). Загрузить модель и токенизатор CodeParrot можно прямо в трансформеры: Модель обучалась на очищенном наборе данных CodeParrot 🦜 в два этапа. После первоначального обучения (версия 1.0) модель была обучена еще на 30 тысяч шагов, в результате чего была получена версия 1.1, а настройки вы найдете в следующей таблице: Обучение выполнялось на 16 графических процессорах A100 (40 ГБ). Эта настройка составляет примерно 26 + 15 миллиардов токенов. Мы оценили модель с помощью теста OpenAI HumanEval, который состоит из задач по программированию: метрика pass@k показывает вероятность того, что хотя бы одно из k поколений пройдет тесты. — Набор данных: полный, обучаемый, действительный — Код: репозиторий — Пробелы: [генерация](), [выделение]()
Модальности:
Генерация текста
Области применения:
Генерация кода
Задача: Генерация текста
Автор: codeparrot
Теги: tensorboard, gpt2, code, generation, model-index, text-generation-inference, endpoints_compatible
Лайков: 111 | Загрузок: 1,077
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
