Эта модель представляет собой доработанную версию bigcode/santacoder на платформе copdeparrot/gitub-jupyter-code-to-text. Модель обучалась на 4 A100 в течение 3 часов, при этом во время обучения на 4 A100 использовались следующие гиперпараметры: — скорость обучения: 5e-05 — trainbatchsize: 2 — evalbatchsize: 2 — начальное значение: 42 — градиентаккумуляция шагов: 4 — totaltrainbatchsize: 4 — оптимизатор: Адам с betas=(0,9,0,999) и epsilon=1e-08 — lrschedulertype: косинус — lrschedulerwarmupsteps: 100 — TrainingSteps: 800
Модальности:
Генерация текста
Области применения:
Генерация кода
Задача: Генерация текста
Автор: loubnabnl
Теги: gpt2, code, custom_code, text-generation-inference, endpoints_compatible
Лайков: 5 | Загрузок: 15
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
