crumb/fake-gpt-j-17m - Каталог нейросетей
Генерация текста

crumb/fake-gpt-j-17m

Добавлено:
crumb/fake-gpt-j-17m

Эта модель представляет собой GPTJ (с 17 637 632 параметрами), обученный с нуля на синтетическом наборе данных (1 ГБ документов, созданных на 4 поддельных языках, каждый с формальным и неформальным стилем письма) в течение 1 эпохи. Он достигает следующих результатов в наборе оценки: — Потеря: 3.5592 Эта модель должна использоваться в качестве базовой модели для тонкой настройки любого языка/задачи для зондирования эффективности как предварительной подготовки на алгоритмически сгенерированном корпусе, так и эффективности чрезвычайно малых языковых моделей (SLM?). Он может генерировать текст только на основе своих обучающих данных (которые вскоре будут загружены в виде набора данных Huggingface). При обучении использовались следующие гиперпараметры: — скорость обучения: 0.001 — batchsize 64 — seed: 42 — optimizer: Adam — lrschedulertype: linear — num_epochs: 1 — Transformers 4.22.1 — Pytorch 1.12.0 — Datasets 2.3.2 — Tokenizers 0.12.1

Модальности:
Генерация текста


Задача: Генерация текста
Автор: crumb
Теги: tensorboard, gpt2, generated_from_trainer, text-generation-inference, endpoints_compatible
Лайков: 2  |  Загрузок: 122

Открыть на HuggingFace →

Описание основано на материалах HuggingFace. Перевод выполнен автоматически.