BlinkDL/rwkv-4-pile-7b

[ОБНОВЛЕНИЕ: попробуйте RWKV-4-World (https://huggingface.co/BlinkDL/rwkv-4-world) для генерации, общения и написания кода на более чем 100 мировых языках, а также с великолепными возможностями изучения английского с нуля и в контексте.] RWKV-4 7B — это причинно-следственная языковая модель L32-D4096, обученная на Pile. Подробности см. на https://github.com/BlinkDL/RWKV-LM. RWKV-4-Pile-7B-20230109-ctx4096.pth: точно настроен на ctxlen 4096. Вероятно, лучший. Пожалуйста, протестируйте. «Ворон»: модель RWKV в стиле альпака+викуна: https://huggingface.co/BlinkDL/rwkv-4-raven (настоятельно рекомендуется). Это также сильная модель чата. Вы можете использовать +i для «Инструктирования Альпаки» в последней версии ChatRWKV v2. Примеры: RWKV-4-Pile-7B-20230xxx-ctx8192-testxxx: точно настроен на ctxlen 8192. Немного слабее, чем модель ctx4096, когда ctxlen < 3k. RWKV-4-Pile-7B-20221115-8047.pth: обучен на куче для 332B токенов. Потеря сваи 1,8415T LAMBADA чел. 4,38, соответствует 67,18% PIQA соответствует 76,06% SC2016 соответствует 73,44% Hellaswag соответствует 65,51% Примечание. Я использую подсказку «Q: instructnnA: result» для всех инструкций. RWKV-4-Pile-7B-Instruct-test1 инструкция настроена на https://huggingface.co/datasets/bigscience/xP3all/viewer/en/train RWKV-4-Pile-7B-Instruct-test2 инструкция настроена на https://huggingface.co/datasets/Muennighoff/flan…

Модальности:
Генерация текста

Задача: Генерация текста
Автор: BlinkDL
Теги: causal-lm, rwkv, en
Лайков: 159  |  Загрузок: 0

Открыть на HuggingFace →

Описание основано на материалах HuggingFace. Перевод выполнен автоматически.