> 🚧 Примечание: этот репозиторий находится в стадии разработки, текущая загруженная версия основана на KoRWKV-6B, ~ 28 миллиардов токенов, обученных ckpt. 🚧 Эта модель представляет собой доработанную версию beomi/KoRWKV-6B на наборе данных KoAlpaca v1.1a. Во время обучения использовались следующие гиперпараметры: — скорость обучения: 2e-05 — размер пакета поезда: 1 — начальное число: 42 — градиентаккумуляция шагов: 8 — общий размер пакета поездов: 8 — оптимизатор: Адам с бета-версиями = (0,9,0,999) и эпсилон = 1e-08 — lrschedulertype: линейный — numepochs: 1.0 — смешанная точность_обучение: Native AMP — Обучение на 1 графическом процессоре H100 (80G PCI-E) — Transformers 4.29.2 — Pytorch 1.13.1 — Наборы данных 2.12.0 — Токенизаторы 0.13.3
Модальности:
Генерация текста
Задача: Генерация текста
Автор: beomi
Теги: rwkv, generated_from_trainer, KoRWKV, KoAlpaca, ko, endpoints_compatible
Лайков: 8 | Загрузок: 12
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
