Llama-3.2-1B-MTP-k8
This is a reproduction of «Multi-Token Prediction via Self-Distillation» (arXiv 2602.06019) adapted for a single NVIDIA RTX 5090...
This is a reproduction of «Multi-Token Prediction via Self-Distillation» (arXiv 2602.06019) adapted for a single NVIDIA RTX 5090...
Всего 117,6 млрд параметров, около 8,5 млрд активных на токен и до 262 144 контекстов токенов на 32...
Обучите LLM с нуля с параметром 1,38B, Pretrain+SFT+RL (GRPO/GSM8K) на одном RTX 5090 (32 ГБ). Перенесено из наночата...