Используйте пакет rwkv pip 0.8.28+ для вывода RWKV-7: https://pypi.org/project/rwkv/ Демонстрация чата: https://github.com/BlinkDL/ChatRWKV/blob/main/APIDEMOCHAT.py Оценка MMLU: https://github.com/BlinkDL/RWKV-LM/blob/main/RWKV-v7/rwkvmmlueval.py 0.1B = L12 D768 // 0.4B = L24 D1024 // 1.5B = L24 D2048 // ~3B = L32 D2560 // ~7B = L32 D4096 RWKV-7 обучен на более чем 100 языках мира (80% английский, 10% мультиязычность, 10% код). Хорошая подсказка в чате (лучше замените nn в xxx на n, чтобы в ответе никогда не было лишнего nn): Подсказка QA (лучше замените nn в xxx на n, чтобы в ответе никогда не было лишнего nn): !!! После вашего последнего знака «:» не должно быть пробелов, иначе вы расстроите токенизатор и увидите ответ не на английском языке !!! !!! После вашего последнего знака «:» не должно быть пробелов, иначе вы расстроите токенизатор и увидите ответ не на английском языке !!! !!! После вашего последнего знака «:» не должно быть пробелов, иначе вы расстроите токенизатор и увидите ответ не на английском языке !!!
Модальности:
Генерация текста
Задача: Генерация текста
Автор: BlinkDL
Теги: causal-lm, rwkv, en, zh, fr, es, de, pt
Лайков: 108 | Загрузок: 0
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
