— Разработано: Бо Пэн, Юй Чжан, Сонглинь Ян, Жуйчонг Чжан — Финансируется: RWKV Project (в рамках LF AI & Data Foundation) — Тип модели: RWKV7 — Язык(и) (NLP): английский, китайский, японский, корейский, французский, арабский, испанский, португальский — Лицензия: Apache-2.0 — Число параметров: 1.52B — Токенизатор: RWKV World tokenizer — Размер словаря: 65 536 — Репозиторий: https://github.com/fla-org/flash-linear-attention; https://github.com/BlinkDL/RWKV-LM — Документ: https://huggingface.co/papers/2503.14456 Перед использованием этой модели установите flash-linear-attention и последнюю версию трансформеров: Вы можете использовать эту модель так же, как и любые другие модели HuggingFace: эта модель обучена в World v3 с общим количеством 3,119 триллионов токенов. — Режим обучения: bfloat16, lr от 4e-4 до 1e-5, «замедленный» косинусный распад, wd 0,1 (с увеличением размера партии в середине) — Окончательная потеря: 1,9965 — Количество токенов: 3,119 триллиона A: обновить трансформаторы до >=4.48.0: pip install ‘transformers>=4.48.0’
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: fla-hub
Теги: rwkv7, conversational, custom_code, en, zh, ja, ko, fr
Лайков: 9 | Загрузок: 358
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
