Llama-3.2-1B-MTP-k8
This is a reproduction of «Multi-Token Prediction via Self-Distillation» (arXiv 2602.06019) adapted for a single NVIDIA RTX 5090...
Метка: consumer-gpu
Nemotron-Cascade-2-30B-A3B-HLWQ-Q5
Гибридная модель 30B Mamba + MoE с 7,6 ГБ видеопамяти, 15 ток/с, правильный вывод на RTX 4090. Самый...