RWKV-4 169M — это модель причинного языка L12-D768, обученная на Pile. Подробности см. на https://github.com/BlinkDL/RWKV-LM. Последняя контрольная точка: RWKV-4-Pile-169M-20220807-8023.pth: обучение на куче для 332B токенов. Потеря кучи 2,5355 LAMBADA чел. 29,33, соотв. 32,99% PIQA согласно 65,07% SC2016 согласно 58,79% Hellaswag согласно норме 32,26% С небольшим вниманием (—tinyattdim 256 —tinyattlayer 9): RWKV-4a-Pile-170M-20221209-7955.pth Потеря сваи 2,4702 LAMBADA чел. 21,42, соотв. 38,23% PIQA соотв. 63,76% SC2016 соотв. 59,06% Hellaswag, соотв. 32,40% RWKV-4b-Pile-171M-20230202-7922.pth (—mytesting ‘a’) Потеря сваи 2,4222 LAMBADA ppl 22,02, соотв. 38,56% PIQA соотв. 64,04% SC2016 соотв. 59,91% Hellaswag acc_norm 33,33%
Модальности:
Генерация текста
Задача: Генерация текста
Автор: BlinkDL
Теги: causal-lm, rwkv, en
Лайков: 12 | Загрузок: 0
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
