— Разработано: Bo Peng, Yu Zhang, Songlin Yang, Ruichong Zhang — Финансируется: RWKV Project (Under LF AI — Режим обучения: bfloat16, lr 4e-4 to 1e-5 «delay» cosine decay, wd 0.1 (с увеличением размеров партии в середине) — Final Loss: 1.8745 — Token Count: 3.119 trillion A: upgrade transformers to >=4.48.0: pip install ‘transformers>=4.48.0’
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: fla-hub
Теги: rwkv7, conversational, custom_code, en, zh, ja, ko, fr
Лайков: 3 | Загрузок: 224
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.