BlinkDL/rwkv-4-pile-14b

[ОБНОВЛЕНИЕ: попробуйте RWKV-4-World (https://huggingface.co/BlinkDL/rwkv-4-world) для генерации, общения и написания кода на более чем 100 мировых языках, а также с великолепными способностями к изучению английского с нуля и в контексте.] RWKV-4 14B — это причинно-следственная языковая модель L40-D5120, обученная на Pile. Подробности см. на https://github.com/BlinkDL/RWKV-LM. RWKV-4-Pile-14B-2023xxxx-ctx8192-testxxx.pth: точно настроен для ctxlen 8192. Лучшая общая модель. «Ворон»: модель RWKV в стиле альпака+викуна: https://huggingface.co/BlinkDL/rwkv-4-raven (настоятельно рекомендуется). Это также сильная модель чата. Вы можете использовать +i для «Инструктирования Альпаки» в последней версии ChatRWKV v2. Примеры: RWKV-4-Pile-14B-20230213-8019.pth: обучение на куче для токенов 331B. Потеря стопки 1,7579 (ctxlen 1024) LAMBADA ppl 3,81, коэффициент 71,05% PIQA Acc 77,42% SC2016 Acc 75,57% Hellaswag аккнорм 70,24% WinoGrande акк 62,98%

Модальности:
Генерация текста

Задача: Генерация текста
Автор: BlinkDL
Теги: causal-lm, rwkv, en
Лайков: 173  |  Загрузок: 0

Открыть на HuggingFace →

Описание основано на материалах HuggingFace. Перевод выполнен автоматически.