Эта модель представляет собой доработанную версию facebook/opt-350m на наборе данных Gustavosta/Stable-Diffusion-Prompts. В наборе оценок он достигает следующих результатов: — Потеря: 1,2987 — evalstepsper_секунда = 16,623 — вывод perplexity = 3,6644 (на DALL-E 2, но поскольку слова есть слова, работает где угодно). Во время обучения использовались следующие гиперпараметры: — скорость обучения: 0,0001 — trainbatchsize: 8 — evalbatchsize: 2 — начальное число: 42 — распределенный тип: multi-GPU — numdevices: 2 -gradientaccumulationsteps: 32 — totaltrainbatchsize: 512 — totalevalbatchsize: 4 — оптимизатор: Адам с betas=(0,9,0,999) и epsilon=1e-08 — lrschedulertype: cosine — lrschedulerwarmupratio: 0,05 — num_epochs: 10,0 — Трансформеры 4.25.0.dev0 — Pytorch 1.13.0+cu117 — Наборы данных 2.6.1 — Токенизаторы 0.13.1
Модальности:
Генерация текста
Задача: Генерация текста
Автор: pszemraj
Теги: opt, generated_from_trainer, stable diffusion, diffusion, text2image, prompt augment, prompt engineering, text-generation-inference
Лайков: 4 | Загрузок: 14
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
