BlinkDL/rwkv-4-pile-430m

RWKV-4 430M — это модель причинного языка L24-D1024, обученная на Pile. Подробности см. на https://github.com/BlinkDL/RWKV-LM. Последняя контрольная точка: RWKV-4-Pile-430M-20220808-8066.pth: обучение на куче для 333B токенов. Потеря кучи 2,2621 LAMBADA чел. 13.04, соотв. 45,16% PIQA согласно 67,52% SC2016 согласно 63,87% Hellaswag согласно норме 40,90% С небольшим вниманием (—tinyattdim 512 —tinyattlayer 18): RWKV-4a-Pile-433M-20221223-8039.pth Потеря сваи 2,2394 LAMBADA чел. 10,54, соотв. 50,20% PIQA соотв. 68,12% SC2016 соотв. 63,55% Hellaswag, соотв. 40,82% RWKV-4b-Pile-436M-20230211-8012.pth (—mytesting ‘a’) Потеря сваи 2,2026 LAMBADA ppl 10,48, соотв. 51,35% PIQA соотв. 68,06% SC2016 соотв. 63,17% Hellaswag acc_norm 42,09%

Модальности:
Генерация текста

Задача: Генерация текста
Автор: BlinkDL
Теги: causal-lm, rwkv, en
Лайков: 14  |  Загрузок: 0

Открыть на HuggingFace →

Описание основано на материалах HuggingFace. Перевод выполнен автоматически.