Эта модель представляет собой предварительно обученную модель RetNet, обученную с нуля с использованием https://github.com/syncdoth/RetNet. В оценочном наборе достигаются следующие результаты: — Потеря: 0,5923. Эта модель обучается только с помощью тегов Danbooru для генерации подсказок для моделей генерации изображений. Во время обучения использовались следующие гиперпараметры: — скорость обучения: 0,0001 — размер пакета поезда: 32 — размер пакета оценки: 8 — начальный размер: 42 — градиентное накопление шагов: 2 — общий размер пакета поездов: 64 — оптимизатор: Адам с бета-версиями = (0,9,0,999) и эпсилон = 1e-08 — lrschedulertype: линейный — lrschedulerwarmupsteps: 500 — число эпох: 1 — Трансформеры 4.36.1 — Pytorch 2.1.2+cu121 — Наборы данных 2.15.0 — Токенизаторы 0.15.0
Модальности:
Генерация текста
Задача: Генерация текста
Автор: isek-ai
Теги: retnet, custom_code, en
Лайков: 4 | Загрузок: 8
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
