— Разработано: Бо Пэн, Ю Чжан, Сонглинь Ян, Жуйчонг Чжан — Финансируется: RWKV Project (в рамках LF AI & Data Foundation) — Тип модели: RWKV7 — Язык(и) (NLP): английский — Лицензия: Apache-2.0 — Количество параметров: 2,9B — Токенизатор: RWKV World tokenizer — Размер словаря: 65 536 — Репозиторий: https://github.com/fla-org/flash-linear-attention; https://github.com/BlinkDL/RWKV-LM — Документ: https://arxiv.org/abs/2503.14456 Перед использованием этой модели установите flash-linear-attention и последнюю версию трансформеров: Вы можете использовать эту модель так же, как и любые другие модели HuggingFace: эта модель обучена в World v3 с общим количеством 3,119 триллионов токенов. — Режим обучения: bfloat16, lr от 4e-4 до 1e-5, «замедленный» косинусный распад, wd 0,1 (с увеличением размера партии в середине) — Окончательная потеря: 1,8745 — Количество токенов: 3,119 триллиона A: обновить трансформаторы до >=4.48.0: pip install ‘transformers>=4.48.0’
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: RWKV
Теги: rwkv7, conversational, custom_code, en, zh, ja, ko, fr
Лайков: 18 | Загрузок: 178
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
