RWKV-3 1.5B — это модель причинного языка L24-D2048, обученная на Pile. Подробности см. на https://github.com/BlinkDL/RWKV-LM. Вышла RWKV-4 1.5B: https://huggingface.co/BlinkDL/rwkv-4-pile-1b5. На данный момент вам нужно использовать мой код Github (https://github.com/BlinkDL/RWKV-v2-RNN-Pile), чтобы запустить ее. Контрольная точка предварительного просмотра: RWKV-3-Pile-20220723-3542.pth: обучена на куче для 127B токенов. Потеря стопки 2,102 LAMBADA чел. 7,52, соответствует 54,71% PIQA соответствует 71,11% SC2016 соответствует 67,24% Hellaswag соответствует 50,45% Контрольная точка предварительного просмотра: 20220708-1905.pth: Обучение на куче для 68B токенов. Потери сваи 2,148 LAMBADA чел. 8,41, соотв. 53,17% PIQA соотв. 69,64% SC2016 согласно 67,08% соотв. Hellaswag 48,20%
Модальности:
Генерация текста
Задача: Генерация текста
Автор: BlinkDL
Теги: causal-lm, rwkv, en
Лайков: 7 | Загрузок: 0
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
