Это модель RWKV-7 g1 формата «вспышка-линейное внимание». Серия моделей g1 добавила значительно больше данных и включила в себя способности глубокого мышления. — Разработано: Бо Пэн, Юй Чжан, Сонглинь Ян, Жуйчонг Чжан — Финансируется: RWKV Project (в рамках LF AI & Data Foundation) — Тип модели: RWKV7 — Язык(и) (NLP): Многоязычный — Лицензия: Apache-2.0 — Количество параметров: 191M — Токенизатор: RWKV World tokenizer — Размер словаря: 65 536 — Репозиторий: https://github.com/fla-org/flash-linear-attention; https://github.com/BlinkDL/RWKV-LM — Документ: https://arxiv.org/abs/2503.14456 Перед использованием этой модели установите flash-linear-attention и последнюю версию трансформеров: Вы можете использовать эту модель так же, как и любые другие модели HuggingFace: эта модель обучена в World v3.5 с общим числом более 5 триллионов токенов. A: обновите трансформаторы до >=4.48.0: pip install ‘transformers>=4.48.0’ Всегда добавляйте (Token ID = 0) перед вашим запросом. Модель не может обработать первый полученный токен из-за проблем с инициализацией состояния. Модель не может вспомнить Мэтьюза, поскольку это самый первый токен входных данных. С добавлением этого токена: lambadaopenai ppl=12,36 acc=49,12%`**
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: fla-hub
Теги: rwkv7, conversational, custom_code, en, zh, ja, ko, fr
Лайков: 6 | Загрузок: 312
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
