This model is a instruct-tuned poylglot-ko-5.8b model, using full [Kullm, OIG, KoAlpaca] Instruction dataset. koquality_raw.json -> 410step — learningrate: 5e-5 — trainbatchsize: 2 — seed: 42 — distributedtype: multi-GPU (A30 24G) + CPU Offloading — numdevices: 2 — gradientaccumulationsteps: 32 — optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08 — lrschedulertype: linear — numepochs: 1.0 — Transformers 4.30.2 — Pytorch 2.0.1+cu117 — Datasets 2.11.0 — deepspeed 0.9.5
Модальности:
Генерация текста
Задача: Генерация текста
Автор: nayohan
Теги: gpt_neox, polyglot-ko, gpt-neox, KoQuality, ko, text-generation-inference, endpoints_compatible
Лайков: 2 | Загрузок: 18
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.