horizon-25m-v0
Модифицированная архитектура GPT2 с 25-метровыми не встраиваемыми параметрами, отсутствием смещений, встраиванием ln, масштабируемыми вложениями положения sin и модификацией,...
Метка: gpt2a
cramp-25m
Модифицированная модель GPT-2 всего с 25 миллионами невстраиваемых параметров, которая превосходит GPT-2 (124 м), Pythia-70 м/160 м и...