RWKV-3 430M — это модель причинного языка L24-D1024, обученная на Pile. Подробности см. на https://github.com/BlinkDL/RWKV-LM. В данный момент вам нужно использовать мой код Github (https://github.com/BlinkDL/RWKV-v2-RNN-Pile), чтобы запустить его. Последняя контрольная точка: RWKV-3-Pile-430M-20220817-10602.pth: обучение на куче для 326B токенов. Потеря стопки 2,288 LAMBADA чел. 12,83, соответствует 45,45% PIQA соответствует 68,50% SC2016 соответствует 63,60% Hellaswag соответствует 40,68% Контрольная точка предварительного просмотра: RWKV-3-Pile-20220721-3029.pth: обучение на куче для 93B токенов. Потери сваи 2,341 LAMBADA чел. 14,18, соотв. 44,25% PIQA согласно 67,95% SC2016 согласно 63,39% соотв. Hellaswag 39,06%
Модальности:
Генерация текста
Задача: Генерация текста
Автор: BlinkDL
Теги: rwkv, causal-lm, en
Лайков: 4 | Загрузок: 2
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
