smol_llama-81M-tied
Небольшая модель декодера с 81 млн параметров (всего), работающая за счет связывания внедрений ввода/вывода. Это первая версия модели....
Метка: smol_llama
smol_llama-220M-GQA
Небольшая модель декодера параметров (всего) на 220 МБ. Это первая версия модели. — Скрытый размер 1024, 10 слоев...
smol_llama-101M-GQA
Небольшая модель декодера параметров (всего) на 101 МБ. Это первая версия модели. — Скрытый размер 768, 6 слоев...