wandb: https://wandb.ai/open-assistant/supervised-finetuning/runs/pgftwpjx command: deepspeed trainersft.py —configs defaults pretrain pythia-2.8b-pretrain —cachedir .cache/ —outputdir .savedmodels/pythia-2.8b-pre —residualdropout 0.0 —deepspeed`
Модальности:
Генерация текста
Задача: Генерация текста
Автор: andreaskoepf
Теги: gpt_neox, text-generation-inference, endpoints_compatible
Лайков: 3 | Загрузок: 48
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.