RWKV-4 1.5B — это модель причинного языка L24-D2048, обученная на Pile. Подробности см. на https://github.com/BlinkDL/RWKV-LM. RWKV-4-Pile-1B5-20220929-ctx4096.pth: точно настроен на ctxlen 4096. Вероятно, лучше, когда ctxlen > 100. Пожалуйста, проверьте. RWKV-4-Pile-1B5-20220903-8040.pth: обучен на куче для 332B токенов. Потери свай 2,0415 LAMBADA ppl 7.04, соотв. 56,43% PIQA согласно 72,36% SC2016 согласно 68,73% Hellaswag Accnorm 52,48% Примечание. Я использую подсказку «Q: instructnnA: result» для всех инструкций. RWKV-4-Pile-1B5-Instruct-test1-20230124.pth instruct-tuned на https://huggingface.co/datasets/bigscience/xP3all/viewer/en/train RWKV-4-Pile-1B5-Instruct-test2-20230209.pth instruct-tuned on https://huggingface.co/datasets/Muennighoff/flan & NIv2 RWKV-4-Pile-1B5-EngChn-testNovel-xxx для написания китайских романов (обучен на китайских романах 200G). RWKV-4-Pile-1B5-EngChn-testxxx для вопросов и ответов на китайском языке (обучен на китайском тексте 10G. Только в целях тестирования.) RWKV-4b-Pile-1B5-20230217-7954.pth (—mytesting ‘a’) с небольшим количеством внимания QKV для улучшения производительности Потеря сваи 1,9947 LAMBADA ppl 5,82, соотв. 62,35% PIQA соотв. 72,52% SC2016 соотв. 68,89% Hellaswag acc_norm 54,32%
Модальности:
Генерация текста
Задача: Генерация текста
Автор: BlinkDL
Теги: causal-lm, rwkv, en
Лайков: 27 | Загрузок: 0
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
