> 🚧 Примечание: этот репозиторий предназначен только для демонстрационных целей, текущая загруженная версия представляет собой настроенную версию KoRWKV, которая составляет ~ 20% обученного ckpt (с ~ 31 миллиардом токенов). 🚧 Эта модель представляет собой доработанную версию KoRWKV-1.5B в наборе данных KoAlpaca v1.0. Во время обучения использовались следующие гиперпараметры: — скорость обучения: 5e-05 — trainbatchsize: 8 — начальное число: 42 — оптимизатор: Adafactor — lrschedulertype: линейный — numepochs: 2.0 — смешанная точность обучения: Native AMP fp16 — Transformers 4.30.0.dev0 — Pytorch 2.0.0+cu117 — Наборы данных 2.10.1 — Токенизаторы 0.13.2
Модальности:
Генерация текста
Задача: Генерация текста
Автор: beomi
Теги: rwkv, KoRWKV, KoAlpaca, ko, endpoints_compatible
Лайков: 7 | Загрузок: 2
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
