Causal language model trained from scratch on ~1.57B tokens. Custom Transformer with RoPE, RMSNorm, SwiGLU. No external pretrained weights. Data: Russian text, English text, Python and C/C++ code (~10 GB raw).
Модальности:
Генерация текста
Задача: Генерация текста
Автор: syntropic-clx
Теги: causal-lm, custom-transformer, pretrained, from-scratch, rope, rmsnorm, swiglu, en
Лайков: 3 | Загрузок: 8
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.