Clyx_0.2-115.67M-BASE
Causal language model trained from scratch on ~1.57B tokens. Custom Transformer with RoPE, RMSNorm, SwiGLU. No external pretrained...
Causal language model trained from scratch on ~1.57B tokens. Custom Transformer with RoPE, RMSNorm, SwiGLU. No external pretrained...
A 2-billion-parameter dense hybrid language model pretrained from scratch on 500B–2T tokens. BOREAL-2B is the first model in...
Цель. Гибридная языковая модель Mixture of Experts с ~10 миллиардами параметров и ~2 миллиардами активных параметров на токен....
QED-75M — это компактная причинно-языковая модель, предназначенная только для декодера, реализованная для Hugging Face с использованием специального модуля...