BOREAL-10B-MoE
Цель. Гибридная языковая модель Mixture of Experts с ~10 миллиардами параметров и ~2 миллиардами активных параметров на токен....
Метка: rmsnorm
QED-75M
QED-75M — это компактная причинно-языковая модель, предназначенная только для декодера, реализованная для Hugging Face с использованием специального модуля...