nayohan/polyglot-ko-5.8b-Inst-All - Каталог нейросетей
Генерация текста

nayohan/polyglot-ko-5.8b-Inst-All

Добавлено:

This model is a instruct-tuned poylglot-ko-5.8b model, using full [Kullm, OIG, KoAlpaca] Instruction dataset. koquality_raw.json -> 410step — learningrate: 5e-5 — trainbatchsize: 2 — seed: 42 — distributedtype: multi-GPU (A30 24G) + CPU Offloading — numdevices: 2 — gradientaccumulationsteps: 32 — optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08 — lrschedulertype: linear — numepochs: 1.0 — Transformers 4.30.2 — Pytorch 2.0.1+cu117 — Datasets 2.11.0 — deepspeed 0.9.5

Модальности:
Генерация текста


Задача: Генерация текста
Автор: nayohan
Теги: gpt_neox, polyglot-ko, gpt-neox, KoQuality, ko, text-generation-inference, endpoints_compatible
Лайков: 2  |  Загрузок: 18

Открыть на HuggingFace →

Описание основано на материалах HuggingFace. Перевод выполнен автоматически.