RWKV-4 3B — это модель причинно-следственного языка L32-D2560, обученная на Pile. Подробности см. на https://github.com/BlinkDL/RWKV-LM. RWKV-4-Pile-3B-20221110-ctx4096.pth (РЕКОМЕНДУЕТСЯ): точно настроен на ctxlen 4096. LAMBADA ppl 5.25, соответствует 63,96% PIQA соответствует 74,16% SC2016 соответствует 70,71% Hellaswag соответствует 59,89% ctxlen = 4096 nlayer = 32 nembd = 2560 RWKV-4-Pile-3B-20221008-8023.pth: обучено на куче для 331B токенов. Потери свай 1,9469 LAMBADA чел. 5,24, соотв. 63,94% PIQA соотв. 73,72% SC2016 согласно 70,28% Hellaswag accnorm 59,63% ctxlen = 1024 nlayer = 32 nembd = 2560 Примечание. Я использую подсказку «Q: instructnnA: result» для всех инструктирует. RWKV-4-Pile-3B-Instruct-test1 инструкция настроена на https://huggingface.co/datasets/bigscience/xP3all/viewer/en/train RWKV-4-Pile-3B-Instruct-test2 инструкция настроена на https://huggingface.co/datasets/Muennighoff/flan & NIv2 RWKV-4-Pile-3B-EngChn-testNovel-xxx для написания китайских романов (обучен на китайских романах 200G). RWKV-4-Pile-3B-EngChn-testxxx для вопросов и ответов на китайском языке (обучен на китайском тексте 10G. Только в целях тестирования.)
Модальности:
Генерация текста
Задача: Генерация текста
Автор: BlinkDL
Теги: causal-lm, rwkv, en
Лайков: 41 | Загрузок: 0
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
