euclaise/falcon_1b_stage2

This model is a fine-tuned version of euclaise/falcon1bstage1 on the None dataset. The following hyperparameters were used during training: — learningrate: 6e-06 — trainbatchsize: 16 — evalbatchsize: 8 — seed: 42 — gradientaccumulationsteps: 8.0 — totaltrainbatchsize: 128.0 — optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08 — lrschedulertype: linear — lrschedulerwarmupratio: 0.1 — numepochs: 1 — Transformers 4.33.2 — Pytorch 2.0.1+cu117 — Datasets 2.14.5 — Tokenizers 0.13.3

Модальности:
Генерация текста

Задача: Генерация текста
Автор: euclaise
Теги: falcon, generated_from_trainer, custom_code, text-generation-inference, endpoints_compatible
Лайков: 3  |  Загрузок: 355

Открыть на HuggingFace →

Описание основано на материалах HuggingFace. Перевод выполнен автоматически.