allenai/bhaskara

Эта модель представляет собой доработанную версию EleutherAI/gpt-neo-2.7B в наборе Lila-IID-train/dev из набора данных Lila. Во время обучения использовались следующие гиперпараметры: — скорость обучения: 5e-05 — trainbatchsize: 4 — evalbatchsize: 4 — начальное число: 42 — распределенный тип: multi-GPU — numdevices: 2 — totaltrainbatchsize: 8 — totalevalbatchsize: 8 — оптимизатор: Адам с betas=(0.9,0.999) и epsilon=1e-08 — lrschedulertype: линейный — число периодов: 10.0 — Трансформеры 4.21.0.dev0 — Pytorch 1.12.1+cu113 — Наборы данных 2.4.0 — Токенизаторы 0.12.1

Модальности:
Генерация текста

Задача: Генерация текста
Автор: allenai
Теги: gpt_neo, generated_from_trainer, endpoints_compatible
Лайков: 14  |  Загрузок: 47

Открыть на HuggingFace →

Описание основано на материалах HuggingFace. Перевод выполнен автоматически.