Эта модель представляет собой точно настроенную версию EleutherAI/polyglot-ko-12.8b на наборе данных, следующих за инструкциями (260k). Во время обучения использовались следующие гиперпараметры: — скорость обучения: 5e-05 — размер партии: 1 — семя: 42 — распределенный тип: мульти-GPU(A100 80G) — количество устройств: 8 — шаги градиентного накопления: 64 — общий размер партии: 512 — общий размер партии: 64 — оптимизатор: Адам с бета=(0,9,0,999) и эпсилон= 1e-08 — тип lrschedulertype: линейный — числовые числа: 5,0 — Трансформаторы 4.30.2 — Pytorch 2.0.1 cu118 — Наборы данных 2.13.1 — Tokenizers 0.13.3
Модальности:
Генерация текста
Области применения:
Следование инструкциям
Задача: Генерация текста
Автор: etri-xainlp
Теги: gpt_neox, ko, text-generation-inference, endpoints_compatible
Лайков: 3 | Загрузок: 21
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
