FWKV-ROSA
A 56M‑parameter, from‑scratch recurrent language model that combines a per‑channel leaky integrator (FWKV) with the RWKV‑8 ROSA copy‑signal...
Метка: Recurrent Neural Network
HGRN-1B
HGRN — Иерархически вентилируемая рекуррентная нейронная сеть для моделирования последовательностей — Общая архитектура — Эксперименты — Подготовка среды...