This model is a fine-tuned version of EleutherAI/pythia-70m-deduped on an unknown dataset. It achieves the following results on the evaluation set: — Loss: 0.8419 The following hyperparameters were used during training: — learningrate: 5e-05 — trainbatchsize: 64 — evalbatchsize: 64 — seed: 42 — optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08 — lrschedulertype: cosine — numepochs: 1 — Transformers 4.38.2 — Pytorch 2.1.0+cu121 — Datasets 2.18.0 — Tokenizers 0.15.2
Модальности:
Генерация текста
Задача: Генерация текста
Автор: mlabonne
Теги: gpt_neox, generated_from_trainer, text-generation-inference, endpoints_compatible
Лайков: 3 | Загрузок: 31
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
